EdgeBench：字节开源的长时序AI智能体评测基准，支持12小时迭代闭环打分

AI新闻 人工智能研究所
64

一、EdgeBench 是什么

EdgeBench 是字节跳动 Seed 团队开源的面向长时序自主AI智能体的真实工业场景评测基准，配套自研双容器隔离评测引擎 SForge，区别于传统一次性大模型评测基准（仅测试单次输出结果），EdgeBench 核心创新是长周期迭代式评测：给AI智能体开放最长12小时连续执行环境，智能体可多次提交方案、接收实时测试反馈并持续优化，完整记录模型从0到最优分的学习轨迹，而非仅输出单次最终得分。

项目完整数据集包含134个覆盖全行业的真实高难度任务，对外公开释放51个任务与全套评测框架；团队基于约38000小时智能体交互数据，验证出模型性能随交互时长满足对数Sigmoid缩放定律（拟合R²=0.998），精准量化智能体自主学习能力上限。所有任务难度对标人类专家，单任务人类平均耗时57.2小时，最高单任务专家耗时320小时，当前所有主流大模型均无法达到任务满分上限。

任务分为六大标准化分类：科学与机器学习、系统软件工程、优化求解、通用知识、形式化证明、游戏智能体。官方已完成 Claude Opus 4.8、GPT-5.5、GPT-5.4、GLM-5.1、DS-V4-Pro 五大主流模型全时长维度跑分榜单，提供134任务全集、51开源子集两套完整评测数据。

EdgeBench：字节开源的长时序AI智能体评测基准，支持12小时迭代闭环打分

二、功能特色

  1. 长时序迭代闭环评测
    打破传统一次性提交打分模式，智能体在12小时时限内可无限次提交迭代，实时获取测试通过率、缺陷日志、细分得分等细粒度反馈，系统自动记录全流程性能曲线，取周期内最优分数作为最终评测结果，真实还原AI自主试错、持续优化的工作逻辑。

  2. 双容器隔离防作弊架构
    底层SForge采用独立工作容器、评审容器完全隔离设计，智能体仅能访问业务工作环境，评审测试用例、打分逻辑存放在独立临时容器，从底层杜绝模型通过读取测试用例作弊的可能性，保证评测公平可信。

  3. 全行业多元化真实任务集
    覆盖6大技术赛道134项落地级任务，包含代码开发、科学计算、数学优化、金融风控、形式化定理证明、游戏智能控制等工业刚需场景，不使用合成虚拟题目，全部基于真实业务需求设计。

  4. 分布式大规模并行评测
    同时支持本地Docker单机小规模测试、Kubernetes集群批量全量评测；内置故障自动恢复、超时拦截钩子、任务提交冷却机制，可稳定运行数万小时连续智能体交互实验。

  5. 全自定义拓展能力
    兼容任意大模型API接口，仅需配置API地址与密钥即可接入自有模型；支持开发者自定义智能体执行脚手架，新增Agent子类快速适配自研智能体框架。

  6. 标准化多维度榜单输出
    自动生成2h/4h/6h/8h/10h/12h六段时序得分、六大分类分项得分、单任务逐模型时序分数，输出标准化榜单，横向对比不同模型长期学习速度与能力上限。

  7. 开源分层授权，商用友好
    任务数据集采用CC BY 4.0协议，评测框架SForge采用Apache 2.0开源协议，学术研究、企业商用无额外授权限制。

三、技术细节

3.1 底层评测引擎：SForge

SForge是支撑EdgeBench运行的双容器评测调度框架，基于Python开发（项目代码占比73.8% Python、26.2% HTML），核心技术模块：

  1. 容器隔离调度层

    • Work容器：智能体执行任务、编写代码、运行程序的可见环境；

    • Judge临时容器：独立隔离，存储测试用例、打分规则、校验逻辑，任务提交后自动销毁，无法被智能体读取；

    • 容器网络完全隔离，双向无文件、数据互通通道。

  2. 长周期稳定运行模块

    • Stop Hook：拦截智能体提前退出、空循环卡死等异常行为；

    • 断点续跑：机器宕机、API限流中断后自动恢复任务进度；

    • 提交冷却机制：限制高频无效提交，节约评测算力成本。

  3. K8s分布式调度
    本地Docker仅适合单次少量任务测试；完整134任务全量评测依赖K8s集群实现并行批量调度，支持任务队列、资源配额、算力分片管理。

  4. API兼容适配层
    标准化OpenAI兼容接口适配，通过环境变量SFORGE_AGENT_API_BASE_URL自定义模型服务地址，SFORGE_AGENT_API_KEY配置密钥，原生支持Claude Code、Codex智能体脚手架。

3.2 任务与评分技术规范

  1. 评分规则：按任务测试用例通过率加权计算，分数区间0~100；

  2. 时序采集规则：每2小时记录一次当前最优得分，生成6段时间节点数据；

  3. 缩放定律计算：基于全部134任务38000小时交互轨迹拟合log-sigmoid曲线，量化“交互时长-性能提升”关系；

  4. 官方标准约束：公开榜单全部使用统一官方实验配置，不自定义超时、资源限制、冷却时间等参数，保证横向对比公平。

3.3 部署依赖环境

运行最低要求：Linux操作系统、Docker Engine 20.10+、Python3.9及以上；全量集群评测需Kubernetes 1.24+集群与持久化存储。

EdgeBench：字节开源的长时序AI智能体评测基准，支持12小时迭代闭环打分

四、应用场景

  1. 大模型厂商能力对标测试
    通用/代码/科学类大模型研发团队，量化模型长周期自主迭代能力，对比竞品在工程开发、优化、形式化证明等细分赛道长期表现，定位模型短板。

  2. AI自主智能体研发验证
    Agent框架、数字员工、AI软件工程师产品研发，验证智能体多轮试错、环境反馈利用、长期规划能力，替代人工线下复杂场景测试。

  3. 学术AI智能体研究
    高校、科研机构开展长时序智能体缩放规律、自主学习机制相关论文实验，提供标准化、可复现的工业级评测数据集与执行框架。

  4. 企业落地AI选型评估
    企业采购AI编程、科研、调度智能体前，通过真实业务级任务，评估不同模型长时间持续工作的稳定性与产出效果，规避短期单点跑分带来的选型偏差。

  5. 智能体算法迭代调优
    针对Agent规划、工具调用、错误修正算法做纵向对比，观测算法优化后模型12小时内得分提升幅度，精准衡量算法改进收益。

五、使用方法

5.1 环境前置条件

Linux主机，Docker Engine正常运行，已安装Python3.9+、pip工具。

5.2 完整执行步骤

  1. 安装SForge评测工具

pip install sforge

  1. 拉取EdgeBench官方任务定义

sforge fetch-tasks edgebench

  1. 拉取任务对应的预构建Docker镜像

sforge pull --task ad_placement_optimization --registry seededge

  1. 独立终端启动评审服务Judge Server

sforge serve

  1. 启动智能体评测任务（填入模型API密钥、自定义模型名称、12小时超时）

SFORGE_AGENT_API_KEY="sk-xxx" \
 sforge run --task ad_placement_optimization --agent claude-code \
  --model "claude-opus-4-8[1m]" --timeout 43200 --run-id edgebench-001

5.3 两种运行模式

  1. 本地Docker模式：适合少量任务快速验证，算力有限，无法批量跑全量任务；

  2. Kubernetes集群模式：官方榜单标准运行方式，支持并行批量执行51/134全套任务，适合大规模对比实验。

5.4 自定义模型/智能体拓展

  1. 自有大模型：配置API地址与密钥环境变量，直接替换官方模型名称即可接入；

  2. 自研智能体脚手架：在sforge/harness/agent/目录新增Agent子类，完成注册后通过--agent参数调用。

六、竞品对比

选取行业主流长时序/代码智能体评测基准：SWE-Bench、AgentBench、EdgeBench三方横向对比，核心维度如下：

对比维度 EdgeBench（字节Seed） SWE-Bench AgentBench（清华）
核心评测逻辑 12小时长周期迭代，多轮反馈持续优化，记录完整学习轨迹 单次提交一次性打分，无迭代试错环节 短时间单轮任务，仅测试单次工具调用能力
任务规模 全集134项，公开51项，覆盖6大领域（代码/科学/优化/形式化/游戏/知识） 仅GitHub真实Bug修复代码任务，单一软件工程赛道 8类轻量化桌面/网页/数据库简易任务，任务复杂度低
执行隔离架构 双容器Work/Judge完全隔离，防作弊 单容器执行，测试用例与代码环境共存，存在作弊漏洞风险 轻量化沙箱，无独立评审隔离环境
时序指标支持 输出2/4/6/8/10/12小时分段得分，量化长期缩放规律 仅输出最终单次通过率，无时间维度曲线 仅输出任务完成与否二元结果，无细分时序分数
分布式调度 支持本地Docker+K8s集群大规模并行 仅本地单机运行，无集群调度能力 仅单机单任务串行执行
开源范围 评测框架+51个完整任务数据集全部开源 仅测试数据集开源，无配套自动化评测执行引擎 仅8个简易环境开源，无工业级复杂任务
适用场景 通用长时序AI智能体全赛道评测 代码Bug修复专项短程评测 轻量化简单工具智能体基础能力测试

七、常见问题解答（FAQ）

Q1：EdgeBench和普通大模型跑分基准最核心区别是什么？

A：传统基准仅给模型一次答题/提交机会，只能看到单次静态能力；EdgeBench允许AI智能体最长连续12小时反复试错、接收测试反馈持续优化，能观测模型自主学习、纠错、长期规划的动态能力，更贴合真实AI数字员工工作模式。

Q2：完整134个任务全集是否全部对外开放？

A：仅51个任务、完整SForge评测框架公开开源；如需使用全部134任务全集做实验，需联系项目官方邮箱zhongshu@bytedance.com申请。

Q3：使用EdgeBench评测前沿大模型成本高吗？

A：成本较高，单任务12小时运行前沿闭源模型成本数百至一千美元；完整51任务全套评测总花费达五位数美元，大规模评测需要充足算力与预算支撑。

Q4：Windows、Mac系统能否运行EdgeBench本地测试？

A：官方仅支持Linux主机部署Docker运行，Windows、Mac可通过Linux虚拟机、WSL2环境间接使用，原生不支持Windows/macOS本地Docker直跑。

Q5：是否可以接入自研开源大模型做评测？

A：完全支持，只需配置模型API服务地址、密钥环境变量，在启动命令中填写自定义模型名称即可；也可二次开发脚手架适配离线本地部署的开源模型。

Q6：评测结果榜单分数是越高代表模型能力越强吗？

A：是的，分数代表12小时迭代周期内模型最优任务完成度，同任务、同配置下分数越高，智能体长期自主解决复杂问题的能力越强；同时可对比不同时间节点得分，判断模型学习速度快慢。

Q7：SForge框架能否脱离EdgeBench任务，自定义自有业务任务评测？

A：可以，SForge是通用双容器智能体评测引擎，开发者可自行编写业务任务镜像、打分规则，基于该框架搭建企业内部专属智能体评测平台。

Q8：项目开源协议是否允许企业商用二次开发？

A：允许，任务数据集为CC BY 4.0协议，SForge评测代码为Apache 2.0协议，企业商用、二次修改、闭源封装均不受限制，仅需保留原始开源声明。

八、相关链接

  1. GitHub仓库：https://github.com/ByteDance-Seed/EdgeBench

  2. 技术论文：https://arxiv.org/abs/2607.05155

  3. 项目官网：https://edge-bench.org/

  4. HF数据集：https://huggingface.co/datasets/ByteDance-Seed/EdgeBench

九、总结

EdgeBench是字节跳动Seed团队推出的行业首个面向12小时级长时序自主AI智能体的工业级开源评测基准，依托自研隔离式SForge调度框架，打破传统单次静态评测的局限，依托134项覆盖多领域真实高难度任务，量化智能体随交互时长持续迭代的学习缩放规律，同时提供完整可落地自动化评测流程、分布式集群调度能力与高拓展自定义接口，弥补了现有基准无法衡量AI长期自主试错优化能力的行业空白，可为大模型研发、智能体算法迭代、学术研究、企业AI选型提供标准化、公平可复现的横向对比评测方案，且分层开源协议降低了科研与商用落地门槛。

AI智能体评测 AI评测工具 大模型基准测试
打赏

版权及免责申明：本文由@人工智能研究所原创发布。该文章观点仅代表作者本人，不代表本站立场。本站不承担任何相关法律责任。

如若转载，请注明出处：https://www.aipuzi.cn/ai-news/edgebench.html

THE END
作者头像
人工智能研究所
发现AI神器，探索AI技术！