頂點光電子商城2月21日消息:復旦大學發布國內第一個對話式大型語言模型MOSS。
MOSS可執行對話生成、編程、事實問答等一系列任務,打通了讓生成式語言模型理解人類意圖并具有對話能力的全部技術路徑。這條路徑的走通,為國內學術界和產業界提供了重要經驗,將助力大語言模型的進一步探索和應用。
目前,MOSS的最大短板是中文水平不夠高,主要原因是互聯網上中文網頁干擾信息如廣告很多,清洗難度很大。為此,復旦大學自然語言處理實驗室正在加緊推進中文語料的清洗工作,并將清洗后的高質量中文語料用于下一階段模型訓練??蒲袌F隊相信,這將有效提升模型的中文對話能力。
未來,科研團隊將通過開源方式分享這項工作的成果,促進學術界和產業界對預訓練語言模型的分析與研發。預訓練大語言模型的研發門檻很高,需要大量算力、訓練語料和人工標注。在我國產業界,只有大型機構才有實力開發大模型。MOSS開源后,可有效降低預訓練語言模型的研發和應用門檻,讓中小企業在其基礎上開發出智能客服、智能家居、人工智能律師等各種垂直類產品。
這條路徑的走通,為國內學術界和產業界提供了重要經驗,將助力大語言模型的進一步探索和應用。