LLM Admin：开源桌面大模型网关，统一调度80+AI模型本地管控工具

原创 发布日期：
65

一、LLM Admin 是什么

LLM Admin 是开源、本地私有化部署的跨平台桌面端大模型统一调度管理工具，项目定位为省钱可靠模型搭档，一站式解决多厂商大模型API适配、密钥分散、调用故障、成本不可控、数据隐私泄露等行业痛点。工具内置可视化桌面面板，无需手动编辑配置文件，统一对接80+国内外主流大模型，自动完成多协议兼容、智能路由、负载均衡与故障转移，全部配置、调用日志、密钥数据本地存储，不依赖第三方SaaS服务，兼顾个人开发者、小型工作室轻量化AI开发需求。

仓库主体为 leaf-llm/llmadmin-ui，配套后端核心网关 llmadmin-core，开源协议采用 Apache-2.0。

二、功能特色

1. 多模型统一接入与协议自动转换

  • 一套网关兼容80+大模型，覆盖文本对话、图像生成两类主流生成场景；

  • 自动双向转换 OpenAI /v1/chat/completions、Anthropic /v1/messages 两套主流API协议，无需为不同厂商单独编写适配代码。

2. 智能模型调度路由体系

  • 支持自定义声明式路由规则，内置负载均衡、服务故障自动转移机制；

  • 按文本、图像、音频、视频多模态自动分流匹配最优模型，降低调用失败率与Token消耗。

3. 可视化桌面运维与成本管控

  • 基于 Neutralino.js 构建原生跨平台桌面客户端，可视化编辑 conf.json、厂商密钥、路由策略；

  • 内置实时用量统计面板，可视化展示各模型Token消耗、调用频次、计费成本，精准管控AI支出。

4. 本地隐私安全架构

全量密钥、调用记录、缓存配置仅保存在本地设备，无云端数据上传，规避第三方代理数据泄露风险，满足本地离线开发、敏感内容处理场景隐私要求。

5. 可扩展插件生态

预留插件扩展接口，支持客户端缓存、输入安全校验（Guardrails）等自定义扩展，可按需优化请求速度、拦截风险提示词。

6. 开箱即用跨平台部署

提供Windows/macOS/Linux预编译桌面安装包，下载即可运行；同时完整开放源码，支持开发者自定义编译、二次开发。

screen

三、技术细节

1. 整体分层架构

┌────────────────────── 桌面可视化层（llmadmin-ui） ───────────────────┐
│ Neutralino.js 跨平台桌面容器 + React+Vite前端面板           │
│ 模块：厂商管理、用量统计、路由配置、全局设置              │
└───────────────────────────┬─────────────────────────────────────────┘
              │ 本地进程通信
┌────────────────────── 网关核心层（llmadmin-core/src-gateway） ─────────┐
│ Bun运行时 + Hono轻量Web网关框架                    │
│ 内置：路由引擎、协议转换器、负载均衡、故障转移、统计模块、插件系统   │
└───┬───────────┬───────────┬───────────┬──────────────────────────────┘
  ▼      ▼      ▼      ▼
OpenAI   Anthropic  DeepSeek   80+ 大模型厂商接口

2. 核心技术栈说明

  1. 前端桌面层（llmadmin-ui）

    • 开发语言：TypeScript（占代码总量80.4%）、CSS、JS、Shell脚本；

    • 界面框架：React + Vite，开发端口5173；

    • 桌面容器：Neutralino.js，打包原生跨平台桌面程序，默认窗口尺寸1280×840；

    • 工程工具：husky、prettier标准化代码规范，CI脚本适配Windows打包流程。

  2. 后端网关层（src-gateway 子模块）

    • 运行时：Bun，高性能I/O，高并发API转发；

    • Web框架：Hono，轻量跨运行时网关，支持流式对话SSE；

    • 模块化拆分：网关独立为Git子模块，UI与核心网关解耦，可单独升级维护。

3. 仓库工程细节

  • 仓库数据：482次提交、160个分支、1个版本标签，无官方发布包；

  • 目录结构：.github CI配置、desktop 桌面打包代码、src UI源码、src-gateway 网关子模块、打包脚本；

  • 编译命令：支持UI单独调试、网关单独构建、桌面端打包、全项目一键编译。

四、应用场景

  1. 个人AI开发者本地调试
    同时对接GPT、Claude、DeepSeek、国产大模型，统一API地址，切换模型无需修改业务代码，本地存储密钥，避免密钥上传第三方平台。

  2. 小型工作室AI应用开发
    多模型负载均衡、故障自动切换，防止单一厂商限流/宕机导致业务中断；用量统计可视化，精准核算AI开发成本。

  3. 本地私有化敏感内容处理
    法律、医疗、企业内部文档问答等敏感场景，数据全程本地流转，无外网传输，满足数据安全合规需求。

  4. 多模态AIGC批量生产
    图文、音视频混合生成业务，工具自动按模态分配对应模型，简化批量生成调度逻辑。

  5. 二次开发自定义AI网关
    开源源码支持修改路由规则、新增模型厂商、开发专属插件，快速搭建私有统一大模型代理服务。

五、使用方法

方式一：预编译桌面端（推荐普通用户）

  1. 打开项目GitHub Releases页面，下载对应操作系统（Windows/macOS/Linux）安装包；

  2. 安装并打开LLM Admin桌面客户端；

  3. 在可视化面板添加各模型厂商API Key，配置路由、负载均衡策略；

  4. 本地网关默认端口8700，业务代码统一调用本地网关地址，即可分发至各类大模型。

方式二：源码本地部署（开发者/二次开发）

# 1. 克隆仓库
git clone https://github.com/leaf-llm/llmadmin-ui
cd llmadmin-ui

# 2. 安装依赖
npm install
cd src-gateway && npm install && cd ..

# 3. 本地开发调试
npm run dev:ui  # 启动Web管理面板，端口5173
npm run bun:dev  # 启动核心网关服务，端口8700

# 4. 编译打包桌面客户端
npm run build:desktop
# 一键构建全部产物
npm run build:all

六、竞品对比

选取市场主流开源大模型网关工具 LiteLLM、One-API 与 LLM Admin 横向对比：

对比维度 LLM Admin LiteLLM One-API
部署形态 原生跨平台桌面客户端+网关，开箱即用 纯Python网关，无原生桌面，需搭配WebUI Docker网页后台，仅支持浏览器访问
多协议自动转换 OpenAI/Anthropic双向自动兼容 仅对外统一OpenAI协议，需手动适配Claude接口 仅兼容OpenAI标准，Claude需额外配置
可视化运维 内置完整桌面可视化面板，零代码配置 无原生可视化，配置依赖代码/配置文件 网页后台可视化，界面功能简洁
本地隐私 全部数据本地存储，无外部依赖 可本地部署，但日志默认易外泄 数据存储于服务端容器，多租户模式存在数据隔离风险
路由能力 模态智能分流+负载均衡+故障转移 基础故障转移，无多模态自动路由 仅基础负载均衡，无模态智能分配
上手门槛 极低，桌面软件双击运行 高，需Python代码编写配置 中等，需Docker环境部署
开源协议 Apache-2.0 MIT MIT

对比总结

LLM Admin 独有原生桌面客户端优势，普通开发者无需服务器、Docker环境即可本地使用；同时集成完整多模态智能路由、双协议自动转换，兼顾易用性与调度能力，更适合个人、单机本地开发场景；LiteLLM更适合企业代码级深度集成，One-API适合多租户云端API分发场景。

七、常见问题解答（FAQ）

Q：LLM Admin 必须联网才能使用吗？

A：工具本身可以离线启动，但调用OpenAI、Claude等云端大模型需要联网；如果对接本地私有化大模型（如Ollama、vLLM），可完全断网使用。

Q：存储的API密钥会上传到项目作者服务器吗？

A：不会，所有密钥、配置文件、调用日志全部保存在本地设备目录，程序无任何对外上传数据逻辑，不存在密钥泄露至第三方的风险。

Q：支持对接国内大模型（DeepSeek、智谱、通义千问等）吗？

A：项目文档标注支持80+主流模型，包含国内外主流云端大模型，只需在桌面面板填入对应厂商API地址与密钥即可接入。

Q：能否脱离桌面客户端，仅单独运行网关服务？

A：可以，执行 npm run bun:dev 可单独启动src-gateway网关，桌面UI仅作为可视化配置工具，网关可独立对外提供API转发服务。

Q：Windows系统启动桌面端保存配置失败如何解决？

A：项目最新提交已修复Windows文件读写问题，更新代码至main分支，使用Neutralino内置文件系统读写本地用户目录，避免权限不足报错。

Q：可以自定义插件实现限流、缓存功能吗？

A：项目预留插件系统，支持开发客户端缓存、安全校验等扩展插件，可基于TypeScript编写自定义中间件集成至网关。

Q：是否支持多用户、多租户权限管理？

A：当前0.1.0版本定位个人单机使用，未内置多租户用户权限模块，适合单人开发；企业多租户场景可基于源码二次开发扩展。

八、相关链接

  1. 项目主仓库（UI+桌面端）：https://github.com/leaf-llm/llmadmin-ui

  2. 配套核心网关子模块 llmadmin-core：https://github.com/leaf-llm/llmadmin-core

九、总结

LLM Admin 是一款面向个人AI开发者轻量化需求打造的开源本地大模型统一调度桌面工具，依托 Neutralino.js、Bun+Hono 高性能技术栈，将可视化桌面管理与企业级网关调度能力结合，一站式解决多模型API适配、路由调度、成本统计、数据隐私四大核心痛点，无需服务器部署、零代码配置即可完成多厂商大模型聚合，相比同类网关工具大幅降低上手门槛，是单机本地AI开发、敏感内容离线处理场景的轻量化最优开源方案。

AI网关 AI API 大模型API聚合
打赏

版权及免责申明：本文由@AI工具箱原创发布。该文章观点仅代表作者本人，不代表本站立场。本站不承担任何相关法律责任。

如若转载，请注明出处：https://www.aipuzi.cn/ai-news/llm-admin.html

THE END
作者头像
AI工具箱
一个喜欢收集AI工具的小萌新