今年2月，復(fù)旦大學(xué)邱錫鵬團(tuán)隊(duì)發(fā)布MOSS，成為國內(nèi)首個(gè)發(fā)布的類ChatGPT模型，而從ChatGPT誕生至今已過去9個(gè)多月，大模型又面臨哪些挑戰(zhàn)？

在24日下午上海市科協(xié)舉辦的青年科學(xué)家論壇上，復(fù)旦大學(xué)MOSS系統(tǒng)負(fù)責(zé)人邱錫鵬表示，大語言模型是當(dāng)前自然語言處理的主流范式，它可以涌現(xiàn)出豐富的知識(shí)和能力，但也帶來了一些挑戰(zhàn)和問題。在他看來，大語言模型的研究需要多方面的合作和創(chuàng)新，需要開放和共享的技術(shù)平臺(tái)和評(píng)測標(biāo)準(zhǔn)。

呼吁業(yè)界開放共享技術(shù)

(相關(guān)資料圖)

“大模型確實(shí)給我們的研究帶來非常多的問題，一方面是同質(zhì)化非常嚴(yán)重，另外就是賽道擁擠，大家原來把各切一塊的研究范式都往一個(gè)賽道擠。還有就是評(píng)價(jià)困難。”

邱錫鵬解釋，現(xiàn)在大家做的東西總體上比較雷同，比如說像預(yù)訓(xùn)練，雖然有創(chuàng)新性的東西但總體不多，目前的“千模大戰(zhàn)”在創(chuàng)新性上并沒有多少差異。而在評(píng)價(jià)方面，大家都說自己做得好，但又沒有好的比較方法。因?yàn)閷Υ竽Ｐ?、生成式人工智能的客觀評(píng)價(jià)方法并不是特別有效，導(dǎo)致每個(gè)人都要自己建一套評(píng)價(jià)標(biāo)準(zhǔn)，這就沒有一個(gè)比較方法，從而給整個(gè)研究帶來一定的困難。

“現(xiàn)在很多人認(rèn)為大模型變成工程性問題了，是不是還有科學(xué)價(jià)值？”在他看來，ChatGPT發(fā)布至今已經(jīng)過去9個(gè)多月了，大家都感覺好像很明白它了，事實(shí)上很多觀念的地方還是不明白。目前業(yè)界對整個(gè)技術(shù)路線是有一些掌握，這離不開學(xué)術(shù)界一直在發(fā)論文探討。邱錫鵬說，現(xiàn)在有做大模型的團(tuán)隊(duì)只宣布做出來的效果，并未公開究竟是怎么做的，但大模型的研究只有保證技術(shù)的公開度才能使大家都參與進(jìn)來，讓技術(shù)持續(xù)不斷往前迭代。“當(dāng)然這涉及到很多算力問題和能耗問題，希望可以有更好的優(yōu)化方法，使大模型普惠化，使所有人降低門檻，所有人都參與進(jìn)來進(jìn)行研究。”

十大科學(xué)挑戰(zhàn)

談到大語言模型面臨的挑戰(zhàn)和問題，邱錫鵬總結(jié)了包括模型架構(gòu)、幻覺、多模態(tài)的延展、知識(shí)來源、自動(dòng)化評(píng)價(jià)、平民化等十個(gè)科學(xué)挑戰(zhàn)。

他說，大模型之所以稱為大模型，是因?yàn)榭梢杂楷F(xiàn)出豐富的知識(shí)和能力。目前大家熟知的Transformer架構(gòu)非常強(qiáng)大，但缺點(diǎn)也明顯，當(dāng)文章長度變得更長得時(shí)候，它的復(fù)雜度就變得非常高，因此也限制了模型的進(jìn)一步擴(kuò)大。“我們要找到一種可能比Transformer更有效的架構(gòu)，才能支持未來模型的進(jìn)一步擴(kuò)大。”

邱錫鵬還特別強(qiáng)調(diào)了大模型的平民化問題，因?yàn)槠矫窕茏屬Y源不多的研究者也能使用大模型。

他認(rèn)為，大模型總的來講不僅僅是工程問題，從迭代周期來看的話，大家需要的算力比較多的是預(yù)訓(xùn)練階段，這個(gè)階段也有很多東西可以做。但是如果往后看，包括像對齊、優(yōu)化、指令微調(diào)等方面需要的算力沒有想象中那么大。“隨著將來大模型普惠化、平民化的工作，大家在3090顯卡上就可以開展關(guān)于大模型的研究。我總體上會(huì)覺得大模型的研究，不管是學(xué)術(shù)界還是工業(yè)界的科研單位，里面都有很多科學(xué)問題，還是值得關(guān)注的，這不僅僅是一個(gè)簡單的工程問題。”

關(guān)于MOSS的下一步計(jì)劃，邱錫鵬透露，后面會(huì)追求一些創(chuàng)新性，在一些新架構(gòu)上做一些探索，比如不斷加強(qiáng)像推理、代碼這些能力。

標(biāo)簽：