ComAct：基于COM-as-Action范式的工业软件AI自动化全栈解决方案

一、ComAct是什么

ComAct是一款基于COM-as-Action全新交互范式的专业Windows软件AI智能体整套解决方案，核心解决工业CAD、设计、办公类商用软件自动化操作难题，整套体系包含ComActor智能体模型、ComCADBench工业CAD评测基准、ComForge分布式并行仿真训练环境三大核心组件，配套完整数据集与代码生成逻辑，依托Windows COM组件对象模型将自然语言指令转化为可执行Python自动化脚本，替代传统GUI视觉点击、碎片化API调用两类低效智能体方案，专门面向SolidWorks、AutoCAD、Inventor、Photoshop、Office等主流商用软件实现端到端长流程自动化，论文与项目主页已公开，数据集与代码后续开源发布。

二、功能特色

1. 底层统一COM调用，规避视觉智能体缺陷
   摒弃截图识别、鼠标点击的GUI操作模式，通过win32com.client统一调用软件底层COM接口，无UI识别偏差、无长流程误差累积，软件全部底层功能均可访问，不受封闭API、菜单按钮限制。

2. 跨软件一体化工作流自动化
   单段COM脚本串联多软件业务流程，例如SolidWorks三维建模→自动生成工程图纸→导出PDF图纸至本地文件夹，一站式完成完整工业设计链路。

3. 自纠错闭环执行智能体ComActor
   内置思考-决策-代码执行-报错诊断-自动修复闭环，运行捕获程序异常Traceback后自动定位故障步骤、重写修复代码，无需人工干预重试任务。

4. 工业级专用评测基准ComCADBench
   全球首个面向工业CAD软件智能体标准化测试集，总计1000项分级任务，覆盖2D草图、3D建模、零件装配、工程出图、质量物性计算等真实工业场景，统一量化模型自动化能力。

5. 大规模并行仿真训练平台ComForge
   基于Windows11容器+Docker异步调度，支持1000+并行真实软件环境同时运行，批量生成指令-代码配对训练数据，大幅降低工业软件AI训练成本。

6. 三阶段渐进式模型训练体系
   从文本代码映射微调、智能体滚动采样、几何奖励强化学习三层递进训练，输出适配工业建模几何精度的专用代码生成模型。

三、技术细节

3.1 核心底层范式：COM-as-Action

传统两类智能体技术短板：

• GUI视觉智能体：依赖图像定位控件，界面改版、复杂多层菜单极易定位失败，多步骤长任务误差持续叠加；

• API智能体：各厂商软件接口协议异构，商用工业软件底层API封闭无法调用，跨软件联动难以实现。
  COM-as-Action以Windows原生COM组件模型为统一行动空间：所有Windows商用软件开放标准自动化COM接口，Python通过Dispatch函数直接绑定软件应用对象，将用户自然语言指令转化为确定性自动化代码，操作逻辑完全可复现、无视觉随机性。

3.2 三大核心技术模块

模块1：ComActor自纠错智能体（9B基础模型）

三段式完整训练流程：

1. SFT文本代码微调：基于SketchGraphs、Text2CAD、Fusion360Gallery开源CAD数据集，学习自然语言建模指令与COM执行代码精准映射，生成标准化指令-代码样本对；

2. 智能体滚动微调：在ComForge仿真容器批量执行代码，收集执行轨迹、报错日志扩充训练集；

3. GRPO强化学习优化：引入连续几何精度奖励函数，针对建模尺寸、装配约束、图纸标注误差优化代码生成精度。
   运行逻辑：Think推理任务拆解→Decision输出COM代码→Terminal执行脚本捕获报错→自动诊断修复→循环直至任务完成输出DONE标记。

模块2：ComCADBench评测基准

任务总量1000项，分层分类：

• 单任务400项：3D建模、零件装配、二维草图细分；

• 多任务长流程600项：建模+工程图、建模+质量计算、多零件组合装配等复合工业流程；
  覆盖SolidWorks、AutoCAD、Inventor三大主流工业CAD软件，以任务完成率（VR/SR）作为核心评测指标。

模块3：ComForge分布式仿真训练底座

架构：Windows11虚拟机+Docker容器集群+异步调度守护进程；
能力：单集群支持1000+并行独立软件运行环境，预装全套工业设计、办公、剪辑软件；对外提供终端执行、截图、代码运行、日志聚合标准化接口，自动汇总脚本执行成功/失败反馈，批量生成训练数据，支持离线大规模模型训练。

3.3 代码执行落地示例

SolidWorks完整V型双面板建模+出图自动化核心逻辑：

1. Python导入win32com客户端绑定SolidWorks应用程序；

2. 代码新建零件、自定义坐标系、绘制两块等尺寸矩形面板并沿竖直边拼接；

3. 捕获建模平移、草图约束报错自动修复代码；

4. 调用COM接口生成第三角投影视图+等轴测视图，自动批量标注尺寸；

5. 执行图纸PDF导出指令，保存至指定本地路径，任务完成终止执行。

四、应用场景

1. 机械/工业CAD批量自动化设计
   机械工程师批量参数化建模、零件装配、自动生成工程图纸、批量导出PDF图纸，替代重复手工建模标注工作。

2. 跨软件设计流水线协同
   SolidWorks建模→Excel物性数据导出→PPT自动生成设计汇报，单套脚本完成多软件联动办公设计流程。

3. 设计数据批量处理
   批量读取CAD模型质量、体积参数，自动写入Excel生成物料清单、工艺报表。

4. 影视/平面设计批量制作
   Photoshop、3DMax、Premiere批量素材渲染、图层自动化处理、批量导出工程文件。

5. 企业AI训练数据生产
   企业自研工业AI智能体，依托ComForge大规模并行环境低成本生成海量CAD指令-代码训练样本。

6. 工业软件AI算法评测
   科研机构、AI厂商使用ComCADBench标准化基准对比各类大模型CAD自动化能力。

五、使用方法

步骤1：环境部署

1. 底层硬件：支持Windows11容器集群，单机本地测试可单Windows11环境；

2. 依赖安装：Python环境安装pywin32库，安装目标工业软件（SolidWorks/AutoCAD等）；

3. 部署ComForge调度服务（批量训练/评测场景），单机测试可跳过集群部署。

步骤2：加载ComActor智能体

加载预训练9B ComActor模型，配置软件COM接口标识（如SldWorks.Application对应SolidWorks）。

步骤3：输入自然语言业务指令

示例指令：在SolidWorks创建等尺寸V型双矩形面板零件，生成第三角投影视图工程图并导出PDF到C盘指定路径。

步骤4：自动生成并执行COM代码

智能体输出Python自动化脚本，终端后台执行软件操作，实时捕获报错自动修复迭代。

步骤5：任务完成输出结果

建模文件、PDF图纸自动保存至指定路径，智能体输出DONE标记结束任务。

六、竞品对比

选取三类主流桌面自动化AI智能体：GUI视觉智能体、通用API代码智能体、本文ComAct进行横向对比

七、常见问题解答（FAQ）

Q1：ComAct只能用于SolidWorks、AutoCAD工业软件吗？

A：不是，只要Windows平台提供标准COM自动化接口的软件均可适配，包含Photoshop、3DMax、Premiere、Excel、PPT等设计、办公软件，覆盖绝大多数商用桌面程序。

Q2：ComActor是否需要搭配GPT、Qwen等大模型才能使用？

A：不需要，ComActor是独立三阶段训练专用9B模型，在ComCADBench所有任务上原生性能超越GPT-5、Claude-Sonnet、Qwen系列主流大模型，无需少样本提示、检索增强即可完成工业自动化任务。

Q3：COM接口自动化是否会修改本地软件原始文件？

A：不会，脚本执行逻辑遵循用户指令，仅在用户指定路径新建、保存零件、图纸文件；软件本体配置、历史文件不会被自动修改，同时支持后台静默运行软件，不干扰人工操作界面。

Q4：单机Windows电脑能否本地部署ComAct，还是必须集群？

A：单机可完整部署基础功能，仅需安装对应工业软件与pywin32依赖，完成单条CAD建模、出图任务；ComForge大规模并行容器集群仅用于批量训练、大规模评测场景。

Q5：ComAct生成的COM代码是否可单独提取复用？

A：可以，智能体每一轮输出的Python win32com代码可直接复制独立运行，无需依赖ComActor模型，企业可沉淀标准化自动化脚本库。

Q6：GUI智能体和ComAct最大差距体现在哪里？

A：长时序复合工业任务场景差距最明显，GUI视觉智能体多步骤装配、建模流程会持续累积识别错误，任务几乎全部失败；ComAct基于确定性代码执行，自带报错自修复，复杂多任务完成率超85%。

八、相关链接

1. 项目主页：https://knowledgexlab.github.io/ComAct/

2. arXiv论文地址：https://arxiv.org/abs/2606.13239

3. GitHub仓库：https://github.com/KnowledgeXLab/ComAct

九、总结

ComAct创新提出COM-as-Action全新桌面软件AI交互范式，从底层规避传统GUI视觉智能体、API智能体两大技术瓶颈，配套自研ComActor自纠错专用智能体、行业首个工业CAD标准化评测基准ComCADBench、可千级并行运行的ComForge仿真训练底座，完整构建面向Windows专业商用软件的AI自动化全栈解决方案，在千项工业CAD分级任务中实现全面领先的SOTA性能，能够稳定完成建模、装配、工程出图、跨软件协同等复杂长流程业务，为机械设计、平面影视、企业办公等领域提供可落地、可规模化训练的AI自动化全新技术路线。