Open-LLM-VTuber(开源离线AI虚拟伴侣)

  • 软件版本:1.2.1
  • 软件类型:生活娱乐
  • 软件语言:简体中文
  • 运行环境:Windows,MacOS
  • 软件大小:226 MB
  • 发布时间:

Open-LLM-VTuber是什么

Open-LLM-VTuber是一款开源、跨平台、可完全离线运行的语音交互AI虚拟伴侣系统。它将大语言模型(LLM)、语音识别(ASR)、语音合成(TTS)、视觉感知与Live2D虚拟形象技术深度融合,打造沉浸式自然交互体验。可作为桌面AI桌宠、智能助手、虚拟主播或专属虚拟伴侣使用,兼顾隐私安全、高度自定义与跨平台兼容

Open-LLM-VTuber采用前后端分离架构,核心后端服务负责LLM调用、语音处理与虚拟形象驱动,配套网页端与桌面客户端(Electron)提供交互界面。项目由社区主导开发,持续迭代更新,当前最新版本为v1.2.0,核心功能稳定,支持中文界面与本地化部署。

核心技术栈

  • LLM引擎:兼容Ollama、LM Studio、vLLM、GGUF等本地模型,及OpenAI、Claude等云端API。

  • 语音识别(ASR):集成sherpa-onnx、FunASR,支持实时语音转文字与人声检测。

  • 语音合成(TTS):内置MeloTTS、Edge TTS、GPT-SoVITS、CosyVoice,支持音色克隆与自然语音输出。

  • 虚拟形象:原生支持Live2D Cubism 5格式模型,表情/动作与AI情绪实时映射。

  • 视觉感知:可调用摄像头、屏幕截图与录屏,实现画面内容识别与交互。

系统适配

  • 操作系统:Windows、macOS。

  • 硬件加速:支持NVIDIA GPU、AMD GPU(ROCm)、苹果芯片(M1/M2/M3)及纯CPU环境。

  • 部署方式:网页端(浏览器访问)、桌面客户端(独立窗口)、透明桌宠模式(置顶桌面、鼠标穿透)。

Open-LLM-VTuber(开源离线AI虚拟伴侣)

软件功能

1. 全离线语音交互

  • 免提对话:全双工语音流,支持实时对话与语音打断(无需耳机,回声消除防自听)。

  • 离线优先:核心推理(LLM/ASR/TTS)可本地完成,全程无需联网,保护隐私。

  • 多语言支持:中文/英文双语界面,语音识别与合成适配中文场景。

2. Live2D虚拟形象互动

  • 情绪映射:AI对话情绪(开心/惊讶/生气等)同步驱动Live2D表情与动作。

  • 触摸交互:支持鼠标点击/拖拽虚拟形象,触发互动反馈(如点头、撒娇)。

  • 模型自定义:导入自定义Cubism 5模型,更换角色形象、服装与背景。

3. 视觉感知与多模态交互

  • 摄像头交互:识别面部表情、手势,实现视觉反馈与互动。

  • 屏幕理解:截取屏幕画面,分析内容并回应(如解读文档、点评视频)。

  • 多模态对话:结合文字、语音、图像输入,AI综合理解并生成回应。

4. 长期记忆与个性化设定

  • 对话记忆:基于Letta的长期记忆系统,AI记住历史对话,延续上下文语境。

  • 角色定制:自定义AI性格、人设、称呼与对话风格(如温柔御姐、活泼甜妹)。

  • 音色克隆:录制少量语音样本,生成专属AI声线,高度拟人化。

5. 直播与工具集成

  • 虚拟主播:接入B站等直播平台,自动回复弹幕、互动聊天,打造AI VTuber。

  • 浏览器控制:AI可操控浏览器执行搜索、打开网页、填写表单等任务。

  • 多房间管理:同时监控多个直播间,自动处理跨平台互动。

Open-LLM-VTuber(开源离线AI虚拟伴侣)

软件特色

1. 完全离线,隐私无忧

所有核心功能(LLM推理、语音识别/合成、虚拟形象渲染)均可本地运行,数据不出设备,杜绝云端隐私泄露风险。

2. 高度拟人,自然交互

  • 语音告别机械感,支持语气、语调、情感变化,接近真人对话。

  • Live2D形象表情生动、动作流畅,互动反馈即时,陪伴感强。

3. 零门槛上手,自定义丰富

  • 提供一键安装包(Windows exe、macOS dmg),零基础可部署

  • 模型、声线、性格、背景全可自定义,打造专属虚拟伙伴

4. 跨平台兼容,轻量化运行

适配全主流桌面系统,硬件要求灵活,低配电脑也能流畅运行(纯CPU模式)。

使用方法

1. 环境准备

  • 系统:Windows 10+/macOS 12+/Linux(Ubuntu 20.04+)。

  • 硬件:最低4GB内存、2GB可用磁盘空间;推荐NVIDIA GPU(4GB+显存)或苹果芯片。

  • 依赖:安装Python 3.10+、uv包管理器(自动处理依赖)。

2. 快速安装(以Windows为例)

  1. 下载客户端:访问GitHub Release页面,下载Windows版Electron安装包(.exe)。

  2. 部署后端

  # 克隆仓库(含前端子模块)
  git clone https://github.com/Open-LLM-VTuber/Open-LLM-VTuber --recursive
  cd Open-LLM-VTuber
  # 安装依赖
  uv sync
  # 启动服务
  uv run run_server.py
  1. 启动客户端:运行安装好的Electron程序,自动连接本地后端(http://localhost:7860)。

  2. 配置模型:在设置中选择本地LLM(如Ollama的Llama 3)、ASR/TTS引擎,加载Live2D模型。

  3. 开始交互:点击“开始对话”,即可语音聊天;开启“桌宠模式”,虚拟形象置顶桌面。

3. 常用操作

  • 语音对话:免提直接说话,AI自动回应;可随时打断。

  • 切换模型:在模型库中选择默认角色或导入自定义Live2D文件。

  • 调整设置:修改AI性格、声线、记忆长度、视觉感知开关等。

  • 直播集成:在直播设置中绑定B站账号,开启弹幕自动回复。

Open-LLM-VTuber(开源离线AI虚拟伴侣)

常见问题解答(FAQ)

Q1:运行时提示“依赖缺失”怎么办?

A:确保已安装uv包管理器,执行uv sync自动安装所有依赖;Windows需安装Visual C++运行库,macOS需安装Xcode命令行工具。

Q2:离线模式下语音识别/合成效果差?

A:

  • ASR:选择sherpa-onnx(中文优化),确保环境安静、麦克风清晰。

  • TTS:切换GPT-SoVITS或CosyVoice,生成更自然语音;可录制样本进行音色克隆。

Q3:Live2D模型加载失败?

A:仅支持Cubism 5格式,旧版(Cubism 2/3)需转换;模型文件路径避免中文与空格。

Q4:桌宠模式下虚拟形象被窗口遮挡?

A:在客户端设置中开启“置顶”与“鼠标穿透”,确保层级最高;调整透明度与大小,适配桌面布局。

Q5:长期记忆不生效?

A:v1.2.0已修复记忆功能,确保在设置中开启“长期记忆”;记忆存储在本地,清除缓存会重置历史对话。

Q6:可以在手机上使用吗?

A:当前仅支持桌面端(Windows/macOS/Linux);手机端暂无官方版本,可通过云服务器+网页端间接使用。

总结

Open-LLM-VTuber是2026年最值得体验的开源AI虚拟伴侣,以全离线隐私保护、高度拟人交互、丰富自定义为核心优势,将本地大模型与Live2D技术完美结合。无论是作为桌面桌宠、学习助手、工作伙伴还是虚拟主播,都能提供沉浸式陪伴体验,且永久免费、开源可定制,适合普通用户与开发者使用。

Open-LLM-VTuber下载地址

安装形式 安装版,绿色版
更新时间
软件语言 简体中文
立即下载
THE END