TencentDB Agent Memory:腾讯开源AI智能体分层记忆引擎,轻量化压缩上下文优化Token消耗

原创 发布日期:
63

一、TencentDB Agent Memory是什么?

TencentDB Agent Memory 是由腾讯云数据库团队正式开源的一款轻量化、高性能AI智能体分层记忆管理引擎,基于 MIT 开源许可协议发布,全程支持本地化部署运行,无需依赖第三方大模型记忆API接口。

该项目核心作用是为各类 AI Agent、智能对话机器人、自动化任务智能体搭建一套标准化记忆存储、记忆压缩、记忆召回与记忆迭代体系,从根源解决当下AI智能体普遍存在的上下文超长Token占用过高、历史对话遗忘混乱、长链路任务逻辑断裂、用户行为记忆零散等行业痛点。

区别于传统向量记忆库单一存储模式,TencentDB Agent Memory 创新性融合符号化短期记忆架构四层金字塔分层长期记忆架构,实现智能体短期实时对话轻量化承载、长期用户行为与任务经验沉淀复用,大幅降低AI智能体运行成本,同步提升智能体决策准确率与交互连贯性。

基础信息

  • 开发主体:腾讯云数据库研发团队

  • 开发语言:主流 TypeScript

  • 运行环境:本地服务器、Docker容器、云服务器全适配

  • 默认存储:SQLite + sqlite-vec 轻量化本地向量数据库

  • 开源协议:MIT 商用免费授权

  • 核心定位:AI Agent 专属原生记忆底座组件

二、核心功能特色

TencentDB Agent Memory 围绕AI智能体记忆全生命周期打造全维度实用功能,所有功能均面向生产业务场景设计,兼顾开发简易性与企业级稳定性。

2.1 核心核心优势功能

  1. 符号化短期记忆轻量化压缩
    将智能体运行过程中产生的冗长工具调用日志、中间执行数据、冗余交互内容统一外置存储,仅在对话上下文内留存极简Mermaid符号任务流程图,通过唯一node_id完成原始数据精准溯源,极大缩减单次交互Token消耗。

  2. 四层分层长期记忆自动提炼
    系统自动对海量对话数据进行层级化抽象归纳,摒弃扁平化记忆存储模式,构建标准化记忆金字塔结构,实现精细化记忆分类管理。

  3. 多策略融合高效记忆检索
    内置BM25关键词检索、向量语义检索、RRF融合排序检索三大检索模式自由切换,兼顾精准关键词匹配与模糊语义联想检索,适配不同业务检索需求。

  4. 全流程白盒可视化记忆管理
    所有记忆数据以 Markdown、JSONL、结构化图表形式明文存储,开发者可直接查看、编辑、导出、清理记忆内容,记忆流转过程全程可监控、可调试、可复盘。

  5. 零门槛快速集成适配
    原生适配 OpenClaw 智能体框架、Hermes Gateway 智能网关等主流AI Agent架构,支持插件化一键接入,无需大规模改写原有智能体业务代码。

  6. 多后端存储自由切换
    默认轻量化本地SQLite部署,同时支持无缝对接腾讯云TCVDB企业级向量数据库,满足个人开发、中小企业部署、大型企业集群部署不同存储需求。

  7. 智能经验沉淀与技能生成
    依托长期记忆数据自动归纳用户使用习惯、高频任务流程、偏好设置,自动生成专属智能体执行技能,实现智能体自主进化学习。

  8. 记忆数据安全迁移备份
    支持一键完成全量记忆数据导出、备份、跨设备迁移,保障智能体历史学习成果不丢失。

2.2 实用辅助功能

  • 自动无效冗余记忆清理机制

  • 对话上下文智能裁剪过滤

  • 多用户、多智能体记忆隔离管理

  • 容器化一键快速部署脚本

  • 本地离线无网络环境稳定运行

TencentDB Agent Memory:腾讯开源AI智能体分层记忆引擎,轻量化压缩上下文优化Token消耗

三、核心技术细节

3.1 两大核心底层技术架构

3.1.1 符号化短期记忆架构

传统AI智能体直接将全部历史对话、工具执行日志塞入大模型上下文窗口,长任务场景下极易出现Token溢出、响应延迟升高、推理逻辑混乱等问题。

TencentDB Agent Memory 采用上下文卸载机制,技术运行逻辑如下:

1. 捕获智能体实时交互数据与工具执行日志
2. 拆分核心逻辑节点,生成轻量化Mermaid任务符号图
3. 原始海量日志数据离线存入本地存储目录
4. 仅将符号结构+唯一节点标识传入大模型上下文
5. 需调取原始数据时,通过node_id精准定位调取

依托该技术架构,实测长链路搜索类任务可实现最高61.38% Token资源降幅,大幅降低大模型调用成本。

3.1.2 四层金字塔分层长期记忆架构

项目独创层级化记忆提炼技术,自动完成原始对话向高价值记忆逐层升级,层级划分如下表:

记忆层级 层级名称 存储内容 核心作用
L0 原始对话层 完整原始聊天记录、任务交互原文 完整留存原始数据,用于底层溯源
L1 原子事实层 拆分提炼独立短句事实、基础行为信息 剥离无效话术,留存核心基础信息
L2 场景聚合层 同场景下连续行为、成套任务流程 整合碎片化信息,形成完整场景逻辑
L3 用户画像层 长期使用偏好、行为习惯、核心需求 沉淀用户全局特征,实现个性化响应

四层记忆逐层向上收敛精简,智能体进行交互应答时,优先调取高层级精简记忆,大幅提升记忆召回效率。

3.2 检索融合技术原理

项目摒弃单一向量检索短板,采用多算法融合召回机制

  1. BM25检索:主打关键词精准匹配,适合固定指令、固定专业词汇检索场景;

  2. 向量语义检索:依托sqlite-vec完成语义向量化嵌入,适配模糊语义、同义语句检索;

  3. RRF融合重排序:整合前两类检索结果,按照匹配权重重新排序,输出最优记忆内容。

3.3 数据存储技术架构

默认采用SQLite轻量数据库搭配sqlite-vec向量拓展插件,无需单独部署独立数据库服务,单设备即可完成全部记忆读写操作,硬件资源占用极低。
企业级场景下可切换腾讯云TCVDB分布式向量数据库,支持海量记忆数据高并发读写、集群分布式部署。

3.4 运行部署技术架构

整体采用前后端轻量化分离设计,基于TypeScript编写核心逻辑,支持CommonJS与ESModule双模块化引入,同时提供完整Docker镜像部署脚本,适配服务器、本地电脑、边缘设备多种运行终端。

四、主流应用场景

TencentDB Agent Memory 适配全行业AI智能体落地场景,覆盖个人开发、企业商用、自动化办公等多个领域。

4.1 智能对话客服智能体

企业在线客服机器人接入该记忆引擎后,可长期沉淀用户咨询历史、售后诉求、产品偏好,二次对接时自动调取历史沟通记忆,无需用户重复阐述问题,大幅提升客服沟通效率与用户体验。

4.2 自动化办公任务智能体

办公自动化AI智能体依托分层记忆,记忆员工日常办公流程、文档处理习惯、报表生成规则,自主复刻高频办公操作,持续优化自动化任务执行逻辑。

4.3 长链路科研调研智能体

学术调研、全网信息搜集类长周期智能体,借助符号化短期记忆压缩海量检索日志,依托长期记忆沉淀调研方向与核心结论,避免长任务过程中思路断层。

4.4 私人个性化AI助手

个人本地离线AI助手部署使用,长期记忆用户生活习惯、学习计划、兴趣偏好,打造高度贴合个人使用习惯的专属离线智能助手。

4.5 企业内部流程管理智能体

企业内部审批流程、行政事务管理智能体,沉淀内部办事流程、审批规则、员工权限信息,实现内部事务自主化高效处理。

4.6 开源框架二次开发记忆组件

面向AI开发者,可将该项目作为通用记忆中间件,无缝嵌入各类自研AI Agent框架,快速补齐项目缺失的记忆管理能力。

五、使用部署方法

5.1 前置环境准备

  • 本地安装 Node.js 16.0 及以上稳定版本

  • 具备基础Git拉取代码权限

  • 预留少量本地磁盘空间用于存储记忆数据

5.2 源码拉取安装

# 克隆官方开源仓库
git clone https://github.com/Tencent/TencentDB-Agent-Memory.git

# 进入项目根目录
cd TencentDB-Agent-Memory

# 安装项目依赖包
npm install

5.3 本地快速启动运行

# 执行本地默认启动命令
npm run start

启动成功后,系统自动初始化SQLite本地存储库,自动生成默认记忆分层目录,无需额外手动配置。

5.4 主流AI框架插件接入

  1. OpenClaw 框架接入:直接安装项目内置适配插件,在框架配置文件内开启记忆捕获与记忆召回开关,即可全自动运行;

  2. Hermes Gateway 接入:调用项目提供的标准接口地址,配置记忆读写路由,完成智能网关记忆联动。

5.5 Docker容器一键部署

# 构建项目镜像
docker build -t tencentdb-agent-memory .

# 后台启动容器服务
docker run -d --name agent-memory -p 端口号:端口号 tencentdb-agent-memory

5.6 基础自定义配置

开发者可修改项目内config.json配置文件,自定义记忆存储路径、记忆自动清理周期、检索权重比例、上下文压缩比例等核心运行参数,适配自身业务需求。

TencentDB Agent Memory:腾讯开源AI智能体分层记忆引擎,轻量化压缩上下文优化Token消耗

六、竞品对比

选取目前市场内两款主流开源AI记忆引擎,与 TencentDB Agent Memory 进行全方位参数对比:

对比维度 TencentDB Agent Memory Mem0 AI记忆引擎 LlamaIndex Memory
开发主体 腾讯云数据库团队 独立开源社区团队 LlamaIndex官方团队
核心架构 符号化短期记忆+四层分层长期记忆 单一向量扁平化记忆 多类型记忆拆分独立存储
默认存储 SQLite+sqlite-vec本地轻量化 依赖外置向量数据库 需对接第三方存储组件
Token优化能力 极强,最高降幅61.38% 中等,仅基础上下文裁剪 较弱,无专属符号压缩机制
可视化调试 全白盒明文可视化,可直接编辑 仅后台数据查看,编辑难度高 可视化功能薄弱
部署难度 极低,本地零依赖一键启动 中等,需配套数据库服务 偏高,依赖大量周边组件
商用授权 MIT协议,完全免费商用 开源协议限制较多 部分场景商用需付费授权
国内网络适配 完美适配国内服务器环境 海外源依赖,部署易卡顿 海外组件依赖严重
智能体适配性 原生适配国内主流Agent框架 偏向海外大模型生态 主打海外大模型生态

对比总结:TencentDB Agent Memory 在轻量化部署、国内环境适配、长任务Token优化、分层精细化记忆管理四大核心维度具备明显优势,更适合国内开发者与企业落地使用;Mem0与LlamaIndex Memory更偏向海外AI生态场景,本地化适配性与使用便捷性偏弱。

七、常见问题解答

Q1:TencentDB Agent Memory 是否可以完全离线使用?

A:该项目支持全程离线本地运行,所有记忆存储、数据处理、记忆召回操作均在本地设备完成,无需联网调用任何第三方云端接口,无数据外传风险。

Q2:个人开发者使用该项目是否需要缴纳任何费用?

A:项目采用标准MIT开源协议,个人学习、商业项目开发、企业项目部署均免费使用,无基础功能收费、无授权收费、无调用次数限制。

Q3:项目支持接入国产大模型进行搭配使用吗?

A:完全支持,该记忆引擎属于独立中间件组件,不绑定任何大模型品牌,可无缝对接文心一言、通义千问、星火大模型等全品类国产大模型。

Q4:记忆数据存储过多之后会不会出现运行卡顿?

A:项目内置自动轻量化清理机制与分层精简机制,高层级精简记忆占用资源极小,海量原始数据离线存储,不会影响智能体实时交互运行速度。

Q5:非技术人员可以简单部署使用这款项目吗?

A:具备基础电脑操作知识即可借助Docker一键部署使用,仅自定义深度功能需要简单代码基础,基础记忆使用无需专业开发能力。

Q6:是否支持多台设备同步共享智能体记忆数据?

A:原生支持数据导出备份,可将本地记忆文件拷贝至其他设备完成同步,企业集群场景可切换TCVDB分布式存储实现多设备实时同步。

Q7:项目后续官方是否会持续更新维护?

A:项目由腾讯云数据库正式团队维护更新,持续迭代适配全新AI智能体框架,修复运行漏洞,新增实用记忆管理功能,生态稳定性有充足保障。

Q8:符号化记忆压缩之后,会不会丢失关键对话信息?

A:不会出现信息丢失情况,符号结构仅用于精简上下文展示,所有完整原始数据全部离线留存,溯源调取时可完整还原全部原始交互内容。

八、相关链接

  1. 项目GitHub开源主仓库地址:https://github.com/Tencent/TencentDB-Agent-Memory

九、总结

TencentDB Agent Memory 作为腾讯云数据库团队推出的开源AI智能体记忆引擎,凭借独创的符号化短期记忆压缩技术与四层金字塔分层长期记忆架构,精准解决了当前AI智能体行业内上下文资源消耗过高、历史记忆管理混乱、长任务执行稳定性差等核心难题,项目兼具轻量化部署、全离线运行、白盒可视化管理、多框架无缝兼容、免费商用等多重实用优势,依托本土化开发适配特性,高度贴合国内AI开发者与各类企业的智能体落地需求,既能够满足个人开发者搭建离线私人AI助手的轻量化使用需求,也可支撑中小企业乃至大型企业搭建规模化、高稳定性、低成本的商业化AI智能体业务体系,是目前国内生态下实用性与性价比兼备的优质AI Agent专属记忆底层组件。

打赏
THE END
作者头像
AI工具集
工具不孤岛,AI集大成——这里有你要的一切智能解法