什么是 Voicebox？

Voicebox 是一个本地优先的 AI 语音工作室——一个免费开源的 ElevenLabs 和 WisprFlow 替代品，集于一个应用。从几秒钟的音频中克隆声音，在 7 个 TTS 引擎中生成 23 种语言的语音，使用全局热键在任何文本字段中听写，并为你选择的任何支持 MCP 的 AI 智能体赋予声音。

两家云服务巨头分别占据语音输入/输出循环的两端——ElevenLabs 负责输出，WisprFlow 负责输入。Voicebox 两者兼顾，通过内置的本地 LLM 进行优化和按配置文件定制角色，并在你的机器上运行整个系统。

• 完全隐私——模型、语音数据和捕获内容永远不会离开你的机器
• 7 个 TTS 引擎——Qwen3-TTS、Qwen CustomVoice、LuxTTS、Chatterbox Multilingual、Chatterbox Turbo、HumeAI TADA 和 Kokoro
• 语音克隆和预设声音——从参考样本进行零样本克隆，或通过 Kokoro 和 Qwen CustomVoice 使用 50 多个精选预设声音
• 23 种语言——从英语到阿拉伯语、日语、印地语、斯瓦希里语等
• 后处理效果——音高变换、混响、延迟、合唱、压缩和滤波器
• 表现力语音——通过 Chatterbox Turbo 支持 [laugh]、[sigh]、[gasp] 等副语言标签；通过 Qwen CustomVoice 支持自然语言交付控制
• 无限长度——自动分块并交叉淡化，适用于脚本、文章和章节
• 故事编辑器——用于对话、播客和叙事的多轨时间线
• 语音输入——全局听写热键，支持按键说话和切换模式，macOS 上经过无障碍验证的自动粘贴，每个文本字段内置麦克风，基于 Whisper 的 STT
• 智能体语音输出——一次工具调用（voicebox.speak），任何支持 MCP 的智能体（Claude Code、Cursor、Cline）就能用你克隆的声音与你对话
• 语音个性——为任何语音配置文件附加自由形式的角色，然后通过内置的本地 LLM 进行撰写、重写或回复——智能体可以通过 MCP 调用相同模式
• API 优先——REST API 加上内置的 MCP 服务器，用于将语音输入/输出集成到你自己的应用和智能体中
• 原生性能——使用 Tauri（Rust）构建，而非 Electron
• 随处运行——macOS（MLX/Metal）、Windows（CUDA）、Linux、AMD ROCm、Intel Arc、Docker

下载

查看所有二进制文件 →

Linux——暂未提供预构建二进制文件。请参阅 voicebox.sh/linux-install 获取从源码构建的说明。

遇到问题？ 请参阅 故障排除指南 了解常见的安装、生成、模型下载和 GPU 问题。

功能

多引擎语音克隆

七个 TTS 引擎各有优势，可按生成任务切换：

情感与副语言标签

只有 Chatterbox Turbo 能解释 [laugh] 和 [sigh] 等副语言标签。Qwen3-TTS、LuxTTS、Chatterbox Multilingual 和 HumeAI TADA 会将其 按字面文本读取。

选择 Chatterbox Turbo 后，在文本输入中键入 / 可打开标签 插入器，并在语音中内联添加表现力标签：

[laugh] [chuckle] [gasp] [cough] [sigh] [groan] [sniff] [shush] [clear throat]

后期处理效果

由 Spotify 的 pedalboard 库提供支持的 8 种音频效果。在生成后应用，实时预览，构建可复用的预设。

附带 4 个内置预设（机器人、收音机、回声室、低沉嗓音），并支持自定义预设。效果可按配置文件分配为默认设置。

无限生成长度

文本会在句子边界自动拆分，每个块独立生成，然后交叉淡化拼接在一起。适用于所有引擎。

• 可配置的自动分块限制（100–5,000 字符）
• 交叉淡化滑块（0–200ms），实现平滑过渡
• 最大文本长度：50,000 字符
• 智能拆分尊重缩写、中日韩标点符号和 [tags]

生成版本

每次生成都支持多个版本，并带有来源追踪：

• 原始 — 干净的 TTS 输出，始终保留
• 效果版本 — 从任何源版本应用不同的效果链
• 录制片段 — 使用新种子重新生成以产生变化
• 来源追踪 — 每个版本都记录其谱系
• 收藏 — 为生成结果加星标以便快速访问

异步生成队列

生成是非阻塞的。提交后立即开始输入下一条。

• 串行执行队列防止 GPU 争用
• 实时 SSE 状态流
• 失败的生成可以重试
• 崩溃导致的过期生成在启动时自动恢复

语音配置文件管理

• 从音频文件创建配置文件，或在应用内直接录制
• 导入/导出配置文件以共享或备份
• 多样本支持，实现更高质量的克隆
• 每个配置文件的默认效果链
• 使用描述和语言标签进行组织

故事编辑器

用于对话、播客和叙事的多语音时间线编辑器。

• 支持拖放的多轨合成
• 内联音频修剪和分割
• 带同步播放头的自动播放
• 每个轨道片段的版本固定

全局听写与语音输入

语音输入/输出循环的另一半。在系统任意位置按住热键，说话，松开 — 在 macOS 上，转录文本会直接粘贴到聚焦的文本字段中。或者点击任意 Voicebox 文本输入上的麦克风，直接在应用内听写。

• 可配置和弦绑定 — 按住说话和点按切换和弦，每个都可在应用内的和弦选择器中重新绑定。按住通话时，在按住期间点按 Space 会无缝升级为切换会话，音频无中断
• 目标感知粘贴（macOS） — 通过辅助功能验证注入到聚焦的文本字段，并带有原子剪贴板保存/恢复，确保剪贴板不被覆盖
• 首次运行权限体验 — 应用内引导带您完成 macOS 辅助功能和输入监控授权，并提供系统设置的深层链接
• 每个 Voicebox 文本字段上的应用内麦克风按钮 — 生成表单、配置文件描述、故事标题，任何您会输入的地方
• LLM 优化 — 粘贴前可选清理语气词、口吃和错误开头
• 屏幕药丸 — 浮动覆盖层，显示 recording、transcribing、refining 和 speaking 状态。与代理对您说话时使用的药丸相同，因此循环的两个方向共享一个心智模型

语音转文本

Voicebox 运行 OpenAI Whisper 进行转录 — 与支持听写、Captures 标签页和 /transcribe API 的模型相同。根据您的平台，在 MLX（Apple Silicon）或 PyTorch（CUDA / ROCm / DirectML / CPU）上运行。

更多引擎（Parakeet v3、Qwen3-ASR）正在规划中 — 请参阅 路线图。

Captures

每次听写、应用内录音和上传的音频文件都会进入 Captures 标签页 — 原始音频与转录文本配对，始终保留。

• 重播、重新转录、优化 — 使用任意 Whisper 大小重新运行 STT，或使用不同标志（填充词清理、自我纠正移除、技术术语保留）通过本地 LLM 重新处理原始转录
• 内联编辑 — 调整转录文本并在失焦时保存
• 作为语音配置文件播放 — 一键将任何捕获内容转换为克隆语音的语音
• 提升为语音样本 — 使用捕获内容的音频 + 转录文本作为任何语音配置文件的参考样本
• 本地捕获存储 — 原始音频和转录文本保留在您的 Voicebox 数据目录中，设置中提供文件夹快捷方式

代理语音输出

每个代理都有语音。一次工具调用，任何支持 MCP 的代理都可以用您克隆的语音与您对话 — 任务完成、提问、通知。听写期间显示的药丸在代理说话时也会显示，因此您始终能看到机器正在输出的内容。

// In any MCP-aware agent:
await voicebox.speak({
  text: "Deploy complete.",
  profile: "Morgan",
});

也作为 POST /speak 暴露，适用于不支持 MCP 的任何内容 — ACP、A2A、Shell 脚本、自定义框架。

• 双向药丸 — recording、transcribing、refining 和 speaking 都是同一操作系统级覆盖层的状态，因此听写和代理语音共享一个界面
• 每个代理的语音绑定 — 在 设置 → MCP 中，将 Claude Code 固定到 Morgan，将 Cursor 固定到 Scarlett，这样无需查看即可分辨是哪个代理在说话。每个客户端的 last_seen_at 时间戳确认安装确实生效
• 始终可见 — 无静默后台 TTS；每次代理发起的语音都会在完整持续时间内显示带有语音配置文件名称的药丸
• HTTP + stdio 传输 — 在 Claude Code / Cursor / Windsurf / VS Code MCP 中作为 URL 安装，或将仅支持 stdio 的客户端指向捆绑的 voicebox-mcp 二进制文件

语音个性

为任何语音配置文件附加一个自由形式的个性——这个声音是谁、他们如何说话、他们关心什么。当设置了个性后，生成框上会出现两个操作，由内置的 Qwen3 LLM 驱动，完全在本地运行。

• 撰写 — 一个随机按钮，将一句符合角色设定的话放入文本框；编辑并朗读，或再次点击以获取不同的内容
• 角色化朗读 — 一个开关，将您的输入文本通过个性 LLM 路由，在 TTS 之前以该角色的口吻重写

代理可以通过 MCP 传递 personality: true 到 voicebox.speak 来使用相同的重写路径，将该工具转变为 文本输入 → 个性 LLM → TTS 的流水线。同一个 LLM 也支持听写的润色步骤——应用内一个 LLM，一个模型缓存，一个 GPU 内存占用。

本地 LLM 选项： Qwen3 0.6B / 1.7B / 4B，与 TTS 运行时共享（Apple Silicon 上为 MLX，其他平台为 PyTorch）。

使用场景：代理开发循环（口述问题，用克隆的声音听到答案）、游戏和叙事工具的交互式角色、为无法用原声说话的人提供语音辅助。

模型管理

• 按模型卸载以释放 GPU 内存，无需删除下载
• 通过 VOICEBOX_MODELS_DIR 自定义模型目录
• 带进度跟踪的模型文件夹迁移
• 下载取消/清除界面

GPU 支持

API

Voicebox 提供了一个 REST API，用于将语音输入/输出集成到您自己的应用和代理中。

# Generate speech
curl -X POST http://127.0.0.1:17493/generate \
  -H "Content-Type: application/json" \
  -d '{"text": "Hello world", "profile_id": "abc123", "language": "en"}'

# Agent voice output — any app or script can speak in a cloned voice
curl -X POST http://127.0.0.1:17493/speak \
  -H "Content-Type: application/json" \
  -H "X-Voicebox-Client-Id: my-script" \
  -d '{"text": "Deploy complete.", "profile": "Morgan"}'

# Transcribe an audio file
curl -X POST http://127.0.0.1:17493/transcribe \
  -F "audio=@recording.wav" \
  -F "model=whisper-turbo"

# List voice profiles
curl http://127.0.0.1:17493/profiles

POST /speak 接受 profile 作为名称（不区分大小写）或 ID，并遵循与 MCP 工具相同的优先级进行解析：显式参数 → 每客户端绑定 → capture_settings.default_playback_voice_id。

MCP 服务器

Voicebox 内置了一个 模型上下文协议 服务器，因此任何支持 MCP 的代理（Claude Code、Cursor、Windsurf、Cline、VS Code MCP 扩展）都可以进行语音合成、转录以及浏览录音和配置文件。

Claude Code 一行命令：

claude mcp add voicebox \
  --transport http \
  --url http://127.0.0.1:17493/mcp \
  --header "X-Voicebox-Client-Id: claude-code"

任何 HTTP MCP 客户端（Cursor、Windsurf、VS Code 等）：

{
  "mcpServers": {
    "voicebox": {
      "url": "http://127.0.0.1:17493/mcp",
      "headers": { "X-Voicebox-Client-Id": "cursor" }
    }
  }
}

Stdio 回退 适用于不支持 HTTP MCP 的客户端——指向应用内捆绑的 voicebox-mcp 二进制文件：

{
  "mcpServers": {
    "voicebox": {
      "command": "/Applications/Voicebox.app/Contents/MacOS/voicebox-mcp",
      "env": { "VOICEBOX_CLIENT_ID": "claude-desktop" }
    }
  }
}

内置四个工具：voicebox.speak、voicebox.transcribe、voicebox.list_captures、voicebox.list_profiles。每客户端的语音绑定在 Voicebox → 设置 → MCP 中管理。有关工具签名、解析优先级、说话胶囊约定和安全说明，请参阅 完整 MCP 指南。

// In any MCP-aware agent:
await voicebox.speak({
  text: "Tests passing. Ready to merge.",
  profile: "Morgan",      // optional — falls back to the per-client binding
  personality: true,      // optional — rewrites text through the profile's personality LLM first
});

使用场景： 代理开发循环（语音输入，语音输出）、游戏对话、播客制作、无障碍工具、语音助手、内容自动化。

完整 API 文档可在 http://127.0.0.1:17493/docs 获取。

技术栈

路线图

有关完整的工程状态、开放问题分类和优先工作队列，请参阅 docs/PROJECT_STATUS.md — 这是一份实时文档，跟踪已发布内容、进行中工作、评估中的候选 TTS 引擎，以及我们接受或搁置特定集成的原因。

开发

有关详细的设置和贡献指南，请参阅 CONTRIBUTING.md。

快速开始

git clone https://github.com/jamiepine/voicebox.git
cd voicebox

just setup   # creates Python venv, installs all deps
just dev     # starts backend + desktop app

安装 just：brew install just 或 cargo install just。运行 just --list 查看所有命令。

前置要求： Bun、Rust、Python 3.11+、Tauri 前置要求，以及 macOS 上的 Xcode。

仓库在根目录预置了 .mcp.json —— 在此检出目录中运行 Claude Code 时，一旦开发应用运行，会自动加载 Voicebox MCP 工具。

本地构建

just build          # Build CPU server binary + Tauri app
just build-local    # (Windows) Build CPU + CUDA server binaries + Tauri app

添加新语音模型

多引擎架构使得添加新的 TTS 引擎变得简单直接。一份分步指南涵盖了完整流程：依赖调研、后端协议实现、前端接线以及 PyInstaller 打包。

该指南针对 AI 编码代理进行了优化。一个代理技能可以接收模型名称并自主处理整个集成过程——你只需在本地测试构建即可。

项目结构

voicebox/
├── app/              # Shared React frontend
├── tauri/            # Desktop app (Tauri + Rust)
├── web/              # Web deployment
├── backend/          # Python FastAPI server
├── landing/          # Marketing website
└── scripts/          # Build & release scripts

贡献

欢迎贡献！请参阅 CONTRIBUTING.md 了解指南。

1. Fork 仓库
2. 创建功能分支
3. 进行修改
4. 提交 Pull Request

安全

发现安全漏洞？请负责任地报告。详情请参阅 SECURITY.md。

许可证

MIT 许可证——详情请参阅 LICENSE。

voicebox.sh