Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

请问下这个repo和 https://github.com/lm-sys/FastChat 有没有关系? #48

Closed
fishfree opened this issue Apr 8, 2023 · 5 comments

Comments

@fishfree
Copy link

fishfree commented Apr 8, 2023

https://github.com/lm-sys/FastChat 也是叫Vicuna,Chinese-Vicuna 是在其基础上改进的吗?

@Facico
Copy link
Owner

Facico commented Apr 8, 2023

@fishfree 感谢你对我们项目的关注。
fashcat这个项目是在上周发布的,他们的前身是alpaca,然后在对话数据集上进行微调的项目。
我们的项目要比它们早发布一周多,也是参考alpaca的训练模式。
不过两个项目基底都差不多,我们的项目更加关注低资源和中文。

@fishfree
Copy link
Author

fishfree commented Apr 8, 2023

@Facico 谢谢您的解答!那和 https://github.com/ymcui/Chinese-LLaMA-Alpaca 有什么异同呢?

@Facico
Copy link
Owner

Facico commented Apr 9, 2023

可以参考这个issue,他们的不同点主要在于他们进行了词表扩充

@fishfree
Copy link
Author

谢谢解答!虽然看不懂。。。
@Facico 看到一个这个讨论:https://news.ycombinator.com/item?id=35441299 我们是不是也可以借鉴Vicuna的这种思路?

@Facico
Copy link
Owner

Facico commented Apr 13, 2023

你说的Vicuna的思路唯一的不同就是他们使用的是对话的数据来弄的。我们下一步就是在纯对话上弄一个,不过我们人力物力资源较少,暂时只能使用开源的数据。不过现在很多开源的对话数据质量一般,很多都是以指令的形式的对话数据。gpt4all是英文的数据,我们之前拿这个混起来训过,暂时没看到效果有多大的提升,可能需要更大的模型(比如13B),或者将模型要调试的参数变多。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

2 participants