OmniRoute：开源本地AI智能网关，整合90+免费大模型永久免付费调用

一、OmniRoute 是什么

OmniRoute 是一款MIT协议开源、本地优先的通用AI智能网关，基于 Node.js + TypeScript 全栈开发，它打通全球237家大模型服务商，兼容 OpenAI / Claude / Gemini 全系列接口标准，面向程序员、AI重度使用者解决「多密钥繁琐、额度频繁耗尽、Token开销高昂、地区访问受限、多IDE工具配置割裂」五大痛点。

软件完全免费无任何平台服务费，所有密钥、对话数据仅存储在本地设备，不上传第三方云端，支持Windows、macOS、Linux、安卓Termux、Docker等全平台部署。

二、功能特色

1. 全量AI服务商聚合体系

• 总计237家AI服务商，覆盖OpenAI、Anthropic、DeepSeek、通义千问、ModelScope等国内外主流厂商，500+可用大模型；

• 分层分类管理：OAuth编程IDE（Claude Code、Cursor、Copilot）、付费API Key、90+免费服务商（11家永久无额度上限）；

• 免费额度自动聚合统计：月度稳定160亿免费Token，新用户首月最高210亿Token，仪表盘实时展示各渠道剩余配额，数据去重无虚标。

2. Combo 智能自动路由

内置17套路由调度策略，支持多级自动故障回落，构建「订阅套餐→付费API→低价按量→免费模型」四层兜底链路，服务商限流、宕机时毫秒无感切换，编码工作不中断：

1. 自动智能模式 auto：9维指标（价格、延迟、剩余额度、成功率）动态择优；

2. 自定义策略：优先级、轮询、成本最优、配额优先、并行融合Fusion、团队配额分摊Quota-Share；

3. 三层故障隔离：服务商熔断、单密钥冷却、单模型锁定，避免整体服务瘫痪。

3. RTK+Caveman 双层Token压缩引擎

独家堆叠式10组可组合压缩工具，透明处理输入上下文，**Token节省15%~95%**，代码、JSON、链接、结构化数据完整保留不丢失业务信息：

• 多语言专用压缩规则包：中文、英文、日语、葡语等适配；

• 自适应窗口机制：自动调整压缩强度适配模型上下文长度；

• 保真防护：压缩失真时自动切换原始文本发送，不影响AI输出质量。

4. 全协议兼容与开发工具适配

1. 跨接口自动翻译：无需改造工具，即可将OpenAI请求转为Claude/Gemini格式；

2. MCP+A2A双智能体协议：内置95个MCP工具，支持stdio/HTTP/SSE三种传输，AI可自主操控网关；

3. 一键适配24+编程IDE：Claude Code、Cursor、Cline、Kilo Code、GitHub Copilot，配套专属CLI配置命令。

5. 代理指纹伪装，突破地区访问限制

三级分层代理架构（全局/服务商独立/单连接），支持HTTP、SOCKS5协议，内置JA3/JA4 TLS指纹伪装，配套免费代理池自动轮换，解决海外模型地域封锁问题。

6. 可视化管理后台与全平台部署

• Web可视化控制台：用量分析、请求日志、系统监控、压缩调试、权限配置一站式操作，支持42国语言；

• 多端部署：npm全局、Docker、Electron桌面、安卓Termux、PWA网页、Nix、AUR源码部署；

• 远程管控：通过加密令牌远程操作服务器端OmniRoute，本地CLI远程下发指令。

7. 隐私安全与运维监控

• 本地优先架构：无云端中转，密钥AES-256加密存储，默认关闭数据遥测；

• 安全防护：提示注入检测、PII隐私过滤、分级API密钥权限、IP访问限制；

• 数据看板：实时Token消耗、成本统计、延迟监控，自动统计免费资源节省金额。

三、技术细节

1. 开发栈：Node.js 22/24 LTS + TypeScript 6（全项目无any类型），前端Next.js16 + React19 + Tailwind CSS4；

2. 存储层：better-sqlite3本地数据库，存储密钥、请求日志、路由配置；

3. 通信协议：SSE流式输出、WebSocket、MCP标准、A2A JSON-RPC 2.0；

4. 测试体系：21000+单元/集成/E2E测试用例，CI自动化发布；

5. 压缩底层：集成LLMLingua-2 ONNX语义剪枝、Caveman规则压缩、RTK命令日志专用压缩；

6. 网络层：undici HTTP客户端、TLS指纹篡改、CONNECT隧道代理；

7. 打包方案：多架构Docker镜像（amd64/arm64）、Electron跨平台桌面打包。

四、应用场景

1. 个人开发者零成本编码：搭建多层免费模型Combo，永久免费使用Claude、GPT系列代码模型；

2. 重度AI用户降本增效：Token压缩+低价路由组合，大幅削减付费大模型账单；

3. 多IDE统一配置：Cursor、Claude Code、Copilot共用一套网关地址，无需重复填写密钥；

4. 跨境/受限地区访问：代理+指纹伪装，正常使用海外闭源大模型；

5. 小型团队协作开发：Quota-Share配额分摊，多人共享一套订阅额度，分级令牌管控权限；

6. 本地私有化AI工作流：所有对话、密钥留存本机，满足隐私合规需求。

五、使用方法

1. 快速安装（npm推荐）

npm install -g omniroute
omniroute

启动后后台地址：http://localhost:20128，统一API地址：http://localhost:20128/v1

2. Docker部署

docker run -d --restart unless-stopped -p 20128:20128 diegosouzapw/omniroute

3. 基础配置流程

1. 进入后台「Providers」页面，添加免费/付费服务商密钥或完成OAuth登录；

2. 路由选择：直接使用默认auto智能路由，或自定义多级回落Combo；

3. IDE工具配置：网关地址填写http://localhost:20128/v1，复制后台生成的全局API Key；

4. 可选开启压缩、代理功能，完成即可无感使用所有聚合模型。

4. 远程服务器管控

omniroute connect 服务器IP
# 远程查看模型列表
omniroute models list

六、竞品对比

选取行业主流两款AI网关 LiteLLM、OpenRouter 横向对比：

七、常见问题解答（FAQ）

Q：使用OmniRoute是否需要向项目方付费？

A：完全免费，项目采用MIT开源协议，无平台服务费，仅需自行承担上游AI服务商的API费用，免费渠道不会产生任何账单。

Q：本地密钥、对话内容会上传至项目服务器吗？

A：不会，软件为本地优先架构，所有数据存储在本机SQLite数据库，默认关闭遥测，仅主动请求的AI服务商接收对话内容，项目无云端中转服务。

Q：压缩功能会不会丢失代码、关键上下文信息？

A：不会，压缩引擎内置保护规则，JSON、代码块、链接、表格不会被删减；若压缩后内容失真，系统会自动放弃压缩，发送原始文本，保障输出质量。

Q：国内网络能否正常使用海外大模型？

A：可以，软件内置三级代理体系与TLS指纹伪装功能，配置HTTP/SOCKS代理后，可突破地域访问限制。

Q：支持哪些操作系统？手机可以运行吗？

A：支持Windows、macOS、Linux，安卓手机通过Termux安装Node即可24小时运行，同时提供Electron桌面客户端、PWA网页端。

Q：使用auto自动路由时，优先级逻辑是什么？

A：系统实时计算9项指标（剩余配额、单价、响应延迟、历史成功率、上下文适配度等）动态打分，优先选择性价比、稳定性最优的模型，额度耗尽自动切换下一层级。

Q：团队多人共用一套订阅套餐如何防止单人耗尽额度？

A：开启Quota-Share配额分摊功能，设置多密钥权重分配流量，闲置额度可共享，同时支持单密钥用量上限管控。

Q：IDE工具配置失败，提示鉴权错误怎么处理？

A：确认IDE填写的API Key为OmniRoute后台生成的全局密钥，而非上游服务商密钥；核对网关端口20128未被占用，重启服务重试。

八、相关链接

1. GitHub仓库地址：https://github.com/diegosouzapw/OmniRoute

2. 项目官网：omniroute.online

九、总结

OmniRoute是功能完备、本地隐私优先的开源AI网关工具，依靠海量服务商聚合、多层智能路由、独家Token压缩、原生代理伪装、全平台轻量化部署五大核心能力，解决普通开发者与AI重度用户多模型管理、高额Token消耗、地域访问限制、多IDE适配的一系列痛点，相比LiteLLM、OpenRouter等竞品拥有更丰富的免费模型资源、精细化调度策略与本地化部署方案，零门槛即可搭建一套低成本、不间断、隐私可控的私有化AI调用工作流。