Sapphire-TTS-Collection

本仓库收集/整理/学习语音合成技术相关资料. (可能含有部分 NLP 和其他语音相关技术) 仍在初步更新中

模型总结表 Models.CSV

推荐链接

• Speech.Zone
• 语音之家
• 课题组 X-LANCE@SJTU
• 课题组 ASLP@NPU
• 课题组 Speech@NTU

同类项目

• Awesome Audio Plaza by Metame AI
• Speech Trident by 李宏毅 Team
• Awesome MLLM by VITA Team
• Awesome Large Speech Model by Huang Can'an

开源项目·Text-to-Speech

时间	名称	仓库	演示	论文
2024.11.04	OuteTTS @OuteAI	Github HuggingFace HF Mirror	-	Blog
2024.10.20	MaskGCT @香港中文大学 (深圳) &广州趣玩网络科技	Github (Amphion) HuggingFace HF Mirror	Github.IO 趣玩科技	ArXiv PaperNote CodeReview
2024.10.08	F5-TTS @上海交通大学&剑桥大学 &吉利汽车研究院(宁波)	Github HuggingFace HF Mirror	Github.IO HF Space	ArXiv PaperNote CodeReview
2024.07.03	CosyVoice @阿里巴巴语音实验室	Github ModelScope		ArXiv PaperNote
2024.05.28	ChatTTS @2noise 团队	Github HuggingFace HF Mirror	Video
2024.02.20	MeloTTS @MIT&MyShell.AI&清华大学	Github HuggingFace HF Mirror
2024.02.13	Parler-TTS @HuggingFace (Reproduce)	Github HuggingFace HF Mirror	HF Space Demo Page	ArXiv
2024.01.15 (v1) 2024.08.07 (v2)	GPT-SoVITS @RVC-Boss (花儿不哭)	Github	Video
2023.11.29 2024.04.09 (v2)	OpenVoice @MIT&MyShell.AI&清华大学	Github		ArXiv
2023.10.10 2024.05.10 (v1.1) 2024.07.02 (v1.2) 2024.09.10 (v1.4) 2024.11.02 Paper	Fish-Speech @FishAudio	Github HuggingFace	Video Video ver1.1 Video ver1.2 Video ver1.4 Online	ArXiv
2023.09.06	Matcha-TTS @瑞典皇家理工学院	Github		ArXiv PaperNote
2023.07.21 2024.07.12	BERT-VITS2 @FishAudio	Github
2023.04.13	MassTTS @2noise 团队	Github	Video
2022.01.28	TorToise-TTS @neonbjb	Github	HF Space Demo Page	ArXiv PaperNote
2020.05.20	XTTS v2 @Coqui.AI	Github		ArXiv PaperNote
2017.11.14	PaddleSpeech @百度飞桨	Github

开源项目·Speech Interaction

按仓库创建时间排序

时间	名称	仓库	演示	论文
2023.11.07 Code 2023.11.14 Paper	Qwen-Audio @阿里巴巴	Github	Demo	ArXiv
2024.05.14 Claim 2024.07.30 Release 2024.10.25 Paper	GPT-4o System Card @OpenAI		ChatGPT	ArXiv
2024.07.02 Code 2024.10.20 Paper	Ichigo @HomebrewResearch	Github	Demo	ArXiv
2024.07.15 Paper 2024.07.16 Code	Qwen2-Audio @阿里巴巴千问团队	Github HuggingFace ModelScope	Space Studio Blog	ArXiv
2024.08.07 Code 2024.09.17 Paper	Moshi @法国 Kyutai 实验室	Github HuggingFace HF Mirror	Demo	ArXiv
2024.08.09 Paper 2024.08.10 Code	VITA @VITA Team (腾讯优图实验室&南京大学 厦门大学&中科院自动化所)	Github HuggingFace HF Mirror	Page	ArXiv
2024.08.29 Paper 2024.08.29 Code	Mini-Omni @清华大学&(启元世界?)	Github HuggingFace HF Mirror	Space	ArXiv
2024.09.10 Paper 2024.09.10 Code	LLaMA-Omni @中国科学院&中国科学院大学	Github HuggingFace HF Mirror ModelScope	Demo	ArXiv
2024.09.24 Code	WestLake-Omni @西湖心辰	Github HuggingFace HF Mirror		ArXiv
2024.09.30 Code 2024.10.11 Paper	Baichuan-Omni @百川智能&西湖大学&浙江大学	Github HuggingFace HF Mirror		ArXiv
2024.10.15 Paper 2024.10.16 Code	Mini-Omni2 @启元世界&清华大学	Github HuggingFace HF Mirror		ArXiv
2024.10.24 Code	GLM-4-Voice @智谱 AI	Github HuggingFace HF Mirror ModelScope		ArXiv
2024.11.01 Paper 2024.11.04 Code	Freeze-Omni @VITA Team (腾讯优图实验室&ASLP(NPU) &南京大学)	Github	Demo	ArXiv
2024.11.03 Code	Hertz-Dev @Standard Intelligence	Github Checkpoints	Blog