(资料图)
站长之家(ChinaZ.com) 4月21日消息:复旦大学自然语言处理实验室今日发布了新版 MOSS 模型,这是国内首个插件增强的开源对话语言模型。
图片来自MOSS
MOSS 模型基于公开的中英文数据训练,目前已拥有 200 亿参数,具有和人类对话的能力,并可以通过与人类交互实现迭代优化。目前 MOSS 模型已上线开源,相关代码、数据、模型参数已在 Github 和 Hugging Face 等平台开放,供科研人员下载。
MOSS 系统负责人邱锡鹏表示,下一阶段的大型语言模型需要和现实世界以及人类的价值观进行「对齐」,成为一个真正的智能体。MOSS 的开源,希望改善大型语言模型的生态环境,让科研人员在该基座上接不同的细分领域。
邱锡鹏说,人们之所以很容易有「卡脖子」问题,是因为缺乏一个好的行业生态。就拿 ChatGPT 来说,OpenAI 公司只需专注做好模型,算力、数据和系统则交给其他公司。反观国内,很多公司在做大型语言模型时所有环节都需要自己做,每家的数据和算力也有限,结果是每家都做不大。在发展过程中,大型语言模型训练与在线推理成本过高也是一个重大问题。
「我们考虑把 MOSS 开源而不是商业化,就是希望改善这种生态,有了这样一个基座,大家就不用重复开发底层技术,可以在上面接不同的细分领域。」复旦大学计算机科学技术学院教授、MOSS 系统负责人邱锡鹏说。
(举报)