今年2月，復旦大學邱錫鵬團隊發布MOSS，成為國內首個發布的類ChatGPT模型，而從ChatGPT誕生至今已過去9個多月，大模型又面臨哪些挑戰？

在24日下午上海市科協舉辦的青年科學家論壇上，復旦大學MOSS系統負責人邱錫鵬表示，大語言模型是當前自然語言處理的主流范式，它可以涌現出豐富的知識和能力，但也帶來了一些挑戰和問題。在他看來，大語言模型的研究需要多方面的合作和創新，需要開放和共享的技術平臺和評測標準。

呼吁業界開放共享技術

(相關資料圖)

“大模型確實給我們的研究帶來非常多的問題，一方面是同質化非常嚴重，另外就是賽道擁擠，大家原來把各切一塊的研究范式都往一個賽道擠。還有就是評價困難。”

邱錫鵬解釋，現在大家做的東西總體上比較雷同，比如說像預訓練，雖然有創新性的東西但總體不多，目前的“千模大戰”在創新性上并沒有多少差異。而在評價方面，大家都說自己做得好，但又沒有好的比較方法。因為對大模型、生成式人工智能的客觀評價方法并不是特別有效，導致每個人都要自己建一套評價標準，這就沒有一個比較方法，從而給整個研究帶來一定的困難。

“現在很多人認為大模型變成工程性問題了，是不是還有科學價值？”在他看來，ChatGPT發布至今已經過去9個多月了，大家都感覺好像很明白它了，事實上很多觀念的地方還是不明白。目前業界對整個技術路線是有一些掌握，這離不開學術界一直在發論文探討。邱錫鵬說，現在有做大模型的團隊只宣布做出來的效果，并未公開究竟是怎么做的，但大模型的研究只有保證技術的公開度才能使大家都參與進來，讓技術持續不斷往前迭代。“當然這涉及到很多算力問題和能耗問題，希望可以有更好的優化方法，使大模型普惠化，使所有人降低門檻，所有人都參與進來進行研究。”

十大科學挑戰

談到大語言模型面臨的挑戰和問題，邱錫鵬總結了包括模型架構、幻覺、多模態的延展、知識來源、自動化評價、平民化等十個科學挑戰。

他說，大模型之所以稱為大模型，是因為可以涌現出豐富的知識和能力。目前大家熟知的Transformer架構非常強大，但缺點也明顯，當文章長度變得更長得時候，它的復雜度就變得非常高，因此也限制了模型的進一步擴大。“我們要找到一種可能比Transformer更有效的架構，才能支持未來模型的進一步擴大。”

邱錫鵬還特別強調了大模型的平民化問題，因為平民化能讓資源不多的研究者也能使用大模型。

他認為，大模型總的來講不僅僅是工程問題，從迭代周期來看的話，大家需要的算力比較多的是預訓練階段，這個階段也有很多東西可以做。但是如果往后看，包括像對齊、優化、指令微調等方面需要的算力沒有想象中那么大。“隨著將來大模型普惠化、平民化的工作，大家在3090顯卡上就可以開展關于大模型的研究。我總體上會覺得大模型的研究，不管是學術界還是工業界的科研單位，里面都有很多科學問題，還是值得關注的，這不僅僅是一個簡單的工程問題。”

關于MOSS的下一步計劃，邱錫鵬透露，后面會追求一些創新性，在一些新架構上做一些探索，比如不斷加強像推理、代碼這些能力。

標簽：