Onyx：开源自托管 Chat UI 平台，连接任意 LLM 实现本地化 AI 交互

1. Onyx 是什么

Onyx 是一个功能丰富的自托管 Chat UI 平台，可与任何大型语言模型(LLM)配合使用。它提供了强大的代理系统、检索增强生成(RAG)、网络搜索、代码解释器等功能，支持私有化部署，确保数据安全。无论是个人用户还是企业团队，都能通过 Onyx 构建定制化的 AI 助手，提升工作效率。它的核心价值在于：

• 私有化部署：用户可以完全掌控数据和模型，无需依赖第三方云服务

• 多模型支持：兼容各种大型语言模型，不局限于特定供应商

• 丰富功能集：提供代理系统、RAG、网络搜索等高级功能

• 团队协作：支持多人协作和知识共享

Onyx 分为两个版本：社区版(CE)和企业版(EE)。社区版基于 MIT 许可证开源，企业版则提供更多高级功能和支持服务。

2. 功能特色

Onyx 提供了一系列强大的功能，使其成为一个全方位的 AI 工作平台：

2.1 自定义代理系统

Onyx 的代理系统允许你创建具有特定能力的 AI 助手：

• 定制指令：为每个代理设置独特的行为准则和专业领域

• 工具集成：为代理配备各种工具，如网络搜索、计算器等

• 角色定义：创建不同角色的代理，如研究员、程序员、翻译等

2.2 网络搜索能力

Onyx 可以连接多种搜索服务，让 AI 获取最新信息：

• 多搜索引擎支持：Google PSE、Exa、Serper 等

• 网页爬取：内置爬虫和 Firecrawl 支持

• 实时信息获取：让 AI 能够回答有时效性的问题

2.3 检索增强生成(RAG)

Onyx 的 RAG 功能让 AI 可以基于你的私有数据回答问题：

• 文档处理：支持上传各种格式的文档

• 混合搜索：结合关键词搜索和向量搜索的优势

• 知识图谱：构建实体关系，提升回答准确性

• 连接器：从 40+ 应用程序中提取知识和元数据

2.4 深度研究功能

Onyx 可以进行多步骤的深度研究：

• 自动研究流程：AI 可以自主规划研究步骤

• 信息整合：汇总多个来源的信息，形成全面回答

• 引用追踪：提供完整的来源引用，确保信息可追溯

2.5 代码解释器

Onyx 内置代码解释器，支持多种编程语言：

• 数据分析：处理和分析各种数据格式

• 图表生成：创建可视化图表和图形

• 文件操作：生成、修改和管理文件

2.6 图像生成

Onyx 支持基于文本提示生成图像：

• 多模型支持：兼容多种图像生成模型

• 风格定制：支持自定义图像风格和参数

• 快速预览：实时查看生成效果

2.7 协作功能

Onyx 支持团队协作和知识共享：

• 聊天分享：方便地分享聊天记录和结果

• 反馈收集：收集用户对 AI 回答的反馈

• 用户管理：支持多用户和权限管理

• 使用分析：提供使用统计和分析功能

3. 技术细节

3.1 架构设计

Onyx 采用现代化的微服务架构，主要包含以下组件：

3.2 模型集成

Onyx 支持多种模型集成方式：

• OpenAI 兼容 API：支持任何遵循 OpenAI API 格式的模型

• 本地模型：通过 Ollama、vLLM 等框架运行本地模型

• 云服务模型：集成 Azure OpenAI、AWS Bedrock 等云服务

3.3 数据处理流程

Onyx 的数据处理流程包括：

1. 数据摄入：通过文件上传、连接器或 API 收集数据

2. 预处理：清洗、分割和转换数据

3. 嵌入生成：将文本转换为向量表示

4. 存储索引：将向量和元数据存储到向量数据库

5. 检索生成：根据用户查询检索相关信息并生成回答

3.4 安全与隐私

Onyx 注重数据安全和隐私保护：

• 端到端加密：保护数据传输安全

• 数据隔离：用户数据相互隔离

• 访问控制：基于角色的权限管理

• 私有化部署：数据存储在用户自己的基础设施上

4. 应用场景

Onyx 的多功能特性使其适用于多种场景：

4.1 企业知识管理

• 内部知识库：创建企业专属的 AI 知识助手

• 文档检索：快速查找和总结内部文档

• 培训支持：为新员工提供交互式培训

4.2 研发与编程

• 代码辅助：帮助编写、调试和优化代码

• 技术文档：生成和更新技术文档

• 研究助手：协助进行技术调研和文献综述

4.3 市场与销售

• 竞品分析：自动收集和分析竞争对手信息

• 内容创作：生成营销文案、社交媒体内容

• 销售支持：为销售团队提供实时信息支持

4.4 教育与学习

• 个性化学习：根据学生需求提供定制化学习计划

• 知识问答：解答学生疑问，提供详细解释

• 研究辅助：帮助学生进行课题研究和论文写作

4.5 内容创作

• 文章写作：生成各类文章和博客内容

• 创意设计：辅助生成创意和设计方案

• 翻译本地化：提供高质量翻译和本地化服务

5. 使用方法

5.1 部署方式

Onyx 支持多种部署方式：

Docker 部署（推荐）

1. 克隆仓库：

   git clone https://github.com/onyx-dot-app/onyx.git
   cd onyx

2. 启动服务：

   docker compose up -d

3. 访问界面： 打开浏览器访问 http://localhost:3000

Kubernetes 部署

1. 安装 Helm：

   curl https://raw.githubusercontent.com/helm/helm/main/scripts/get-helm-3 | bash

2. 部署 Onyx：

   helm repo add onyx https://onyx-dot-app.github.io/onyx/
   helm install my-onyx onyx/onyx

5.2 基本使用流程

1. 创建代理：

• 登录系统后，点击"New Agent"

• 设置代理名称、描述和指令

• 选择所需工具和模型

2. 上传文档：

• 进入"Knowledge"页面

• 上传相关文档或连接外部数据源

• 等待文档处理完成

3. 开始聊天：

• 选择一个代理

• 输入你的问题

• 查看 AI 生成的回答

4. 使用高级功能：

• 启用网络搜索获取最新信息

• 使用代码解释器进行数据分析

• 创建图像生成任务

5.3 配置模型

Onyx 支持多种模型配置：

1. 添加 OpenAI 兼容模型：

• 进入"Settings" -> "Models"

• 点击"Add Model"

• 选择"OpenAI Compatible"

• 填入 API 地址、API Key 和模型名称

2. 配置本地模型：

• 安装 Ollama 或 vLLM

• 在 Onyx 中添加本地模型地址

• 测试连接并启用

6. 常见问题解答

6.1 Onyx 需要什么硬件配置？

最低配置：

• CPU: 4 核

• RAM: 8GB

• 存储: 50GB SSD

推荐配置（运行本地模型时）：

• CPU: 8 核以上

• RAM: 16GB+

• GPU: NVIDIA GPU with 8GB+ VRAM

• 存储: 100GB+ SSD

6.2 Onyx 支持哪些模型？

Onyx 支持任何遵循 OpenAI API 格式的模型，包括：

• OpenAI 的 GPT 系列

• Anthropic 的 Claude

• Meta 的 Llama 系列

• 本地运行的各种开源模型

6.3 如何确保我的数据安全？

Onyx 提供多种安全保障：

• 私有化部署，数据存储在你自己的服务器上

• 支持数据加密和访问控制

• 提供详细的审计日志

6.4 Onyx 与其他 AI 聊天工具相比有什么优势？

Onyx 的主要优势：

• 完全开源，可自由修改和扩展

• 支持私有化部署，保护数据隐私

• 功能全面，集成了代理、RAG、代码解释器等多种功能

• 高度可定制，适应不同场景需求

7. 相关链接

• GitHub 仓库: https://github.com/onyx-dot-app/onyx

• 官方网站: https://onyx.app/

8. 总结

Onyx 是一个功能强大的开源自托管 Chat UI 平台，它提供了代理系统、RAG、网络搜索、代码解释器等丰富功能，支持多种部署方式和模型集成。无论是个人用户还是企业团队，都可以利用 Onyx 构建定制化的 AI 助手，提高工作效率和知识管理能力。其开源特性和私有化部署选项也确保了数据安全和隐私保护，使其成为 AI 应用的理想选择。