FishSpeech

FishSpeech简介Fish-Speech 是一个由 FishAudio 团队开发的开源、先进的多语言文本到语音（TTS）合成项目。它旨在通过结合大语言模型（LLM）技术，提供高质量、多语言的语音合成解决方案。Fish-Speech 支持零样本文本到语音（TTS）、多语言和跨语言支持，并且具备强大的音色控制和情感表达能力。该项目适用于多种应用场景，包括但不限于语音助手、语言学习工具和内容创作等领域。FishSpeech主要功能零样本与少样本 TTS用户可以通过输入 10 到 30 秒的语音样本，生成高质量的 TTS 输出。多语言与跨语言支持支持英语、日语、韩语、中文、法语、德语、阿拉伯语和西班牙语等多种语言，用户无需担心语言切换问题。无需音素依赖模型不依赖音素进行 TTS，能够处理任何语言脚本的文本。高精度与快速合成在 5 分钟的英文文本中，字符错误率（CER）和词错误率（WER）约为 2%，并且在 Nvidia RTX 4060 和 RTX 4090 上分别实现了 1:5 和 1:15 的实时率。WebUI 和 GUI 推理提供基于 Gradio 的 WebUI 推理界面，兼容 Chrome、Firefox、Edge 等主流浏览器；同时支持 PyQt6 图形界面，适用于 Linux、Windows 和 macOS 系统。易于部署支持在 Linux、Windows 和 macOS 上快速搭建推理服务器，减少速度损失。端到端集成自动集成自动语音识别（ASR）和 TTS 部分，无需额外插件，实现真正的端到端语音合成。音色与情感控制支持通过参考音频控制语音音色，并能够生成带有强烈情感的语音输出。FishSpeech主要特点高精度与低延迟在多语言文本合成中表现出极高的精度和快速的推理速度，适合实时应用场景。强大的语言通用性不依赖音素，能够处理多种语言脚本，无需额外的语言模型支持。灵活的音色与情感控制用户可以通过参考音频调整语音的音色和情感表达，提升语音合成的自然度和表现力。多平台支持提供 WebUI 和 GUI 推理界面，支持主流操作系统，方便用户根据需求选择使用方式。开源与开放性项目开源，支持社区贡献和二次开发，适合开发者进行定制化扩展。端到端集成真正的端到端语音合成，无需额外插件，简化了使用流程。