Skip to content

Latest commit

 

History

6 Commits

Folders and files

NameName
Last commit message
Last commit date
 
 

Repository files navigation

OpenELLM


OpenELLM

Logo

Open ELLM for everyone!

GitHub Contributors Issues Issues GitHub pull requests GitHub stars
开源ChatGPT / 全面 / 轻量 / 易用
文章解读 · 视频解读

代码开源,大家放心使用,欢迎贡献! 注意:模型的license取决于模型提供方

最新讯息

  • 2023/07/30:OpenELLM项目正式启动:
    • 初版代码提交
    • 成员分工

OpenELLM项目

OpenELLM项目属于OpenNLP计划的第3个正式的开源项目系列,本项目旨在基于 OpenLLaMA2 训练框架 开发一个 SFT/RLHF 微调的中文版 LlaMA2 模型.

2.开发计划与组织分工

2.1 开发计划:

  • 中文 LLaMA2 模型 SFT/RLHF 训练数据集开发
  • 中文 LLaMA2 模型 SFT/RLHF 训练

2.2 组织分工

  • Datasets:阿樊提、Longhui等
  • Pretrain:
  • SFT:羡鱼、hope等
  • RLHF:初七等

2.加入我们

我们是谁?

我们是羡鱼智能【xianyu.ai/openllmai】,成员包括但不限于LLM打工人、高校学生、研究人员等,想在LLMs领域做点有意义的事!我们的愿景是:Open AI for everyone!

【xianyu.ai】这是个人知乎名”羡鱼智能“的由来,"羡鱼不如结网,咸鱼亦可翻身"。

【openllmai】OpenLLM是我们的群名,早前在知乎上写博客时有朋友说可以搞个群方便交流,于是便有了OpenLLM技术交流群;前几天想着几百号人了,要不正式升级成一个不太正式的组织吧,刚好群友最近有做实践的想法,于是便有了OpenLLMAI。(搞笑的是,周末一大早爬起来发现,咱们目前支撑不起GitHub的组织费用~)

本项目OpenNLP计划的一部分。欢迎大家积极参与项目的建设和讨论,一起变得更强!

加入方式:

  • 直接从Git上参与项目建设:可以在前面列出的开发计划中选择自己感兴趣的部分进行开发,建议优先选择高优先级的任务。包括资料调研和算法开发等工作。
  • 加入OpenLLM技术交流群:知识在讨论中发展,QQ群:740679327,建议由QQ群转微信群,日常在微信群。
  • 加入OpenLLaMA开发群(仅限开发):有意参与开发的同学可以联系OpenLLM技术交流群的管理员。

使用步骤:TODO

1.克隆本项目

git clone https://github.com/OpenLLMAI/OpenELLM.git

2.准备数据

3.运行示例

结果展示

常见报错

参考资料&致谢

赞助我们

Starchart

Star History Chart

Contributors

About

Efficient LLM: linear attention, KD, MOE and more

Resources

Stars

8 stars

Watchers

1 watching

Forks

Releases

Packages

Contributors