今年2月，复旦大学邱锡鹏团队发布MOSS，成为国内首个发布的类ChatGPT模型，而从ChatGPT诞生至今已过去9个多月，大模型又面临哪些挑战？

在24日下午上海市科协举办的青年科学家论坛上，复旦大学MOSS系统负责人邱锡鹏表示，大语言模型是当前自然语言处理的主流范式，它可以涌现出丰富的知识和能力，但也带来了一些挑战和问题。在他看来，大语言模型的研究需要多方面的合作和创新，需要开放和共享的技术平台和评测标准。

呼吁业界开放共享技术

(相关资料图)

“大模型确实给我们的研究带来非常多的问题，一方面是同质化非常严重，另外就是赛道拥挤，大家原来把各切一块的研究范式都往一个赛道挤。还有就是评价困难。”

邱锡鹏解释，现在大家做的东西总体上比较雷同，比如说像预训练，虽然有创新性的东西但总体不多，目前的“千模大战”在创新性上并没有多少差异。而在评价方面，大家都说自己做得好，但又没有好的比较方法。因为对大模型、生成式人工智能的客观评价方法并不是特别有效，导致每个人都要自己建一套评价标准，这就没有一个比较方法，从而给整个研究带来一定的困难。

“现在很多人认为大模型变成工程性问题了，是不是还有科学价值？”在他看来，ChatGPT发布至今已经过去9个多月了，大家都感觉好像很明白它了，事实上很多观念的地方还是不明白。目前业界对整个技术路线是有一些掌握，这离不开学术界一直在发论文探讨。邱锡鹏说，现在有做大模型的团队只宣布做出来的效果，并未公开究竟是怎么做的，但大模型的研究只有保证技术的公开度才能使大家都参与进来，让技术持续不断往前迭代。“当然这涉及到很多算力问题和能耗问题，希望可以有更好的优化方法，使大模型普惠化，使所有人降低门槛，所有人都参与进来进行研究。”

十大科学挑战

谈到大语言模型面临的挑战和问题，邱锡鹏总结了包括模型架构、幻觉、多模态的延展、知识来源、自动化评价、平民化等十个科学挑战。

他说，大模型之所以称为大模型，是因为可以涌现出丰富的知识和能力。目前大家熟知的Transformer架构非常强大，但缺点也明显，当文章长度变得更长得时候，它的复杂度就变得非常高，因此也限制了模型的进一步扩大。“我们要找到一种可能比Transformer更有效的架构，才能支持未来模型的进一步扩大。”

邱锡鹏还特别强调了大模型的平民化问题，因为平民化能让资源不多的研究者也能使用大模型。

他认为，大模型总的来讲不仅仅是工程问题，从迭代周期来看的话，大家需要的算力比较多的是预训练阶段，这个阶段也有很多东西可以做。但是如果往后看，包括像对齐、优化、指令微调等方面需要的算力没有想象中那么大。“随着将来大模型普惠化、平民化的工作，大家在3090显卡上就可以开展关于大模型的研究。我总体上会觉得大模型的研究，不管是学术界还是工业界的科研单位，里面都有很多科学问题，还是值得关注的，这不仅仅是一个简单的工程问题。”

关于MOSS的下一步计划，邱锡鹏透露，后面会追求一些创新性，在一些新架构上做一些探索，比如不断加强像推理、代码这些能力。