moss可執行對話生成、編程、事實問答等一系列任務，打通了讓生成式語言模型理解人類意圖并具有對話能力的全部技術路徑。這條路徑的走通，為國內學術界和產業界提供了重要經驗，將助力大語言模型的進一步探索和應用。
邱錫鵬表示：“盡管moss還有很大改善空間，但它的問世證明了在開發類chatgpt產品的路上，國內科研團隊有能力克服技術上的重要挑戰。”moss研發項目得到了上海人工智能實驗室的有力支持。后期，這項工作將通過開源方式和業界社區分享。
“端到端”走通大語言模型
由于chatgpt并未開源，其技術方案細節也未公開，科研人員對此有諸多猜測。有專家認為，chatgpt是一套復雜的組合系統，無法由單一的生成式語言模型實現;也有專家認為，國內外在這個方向上的技術差距正在拉大。
作為自然語言處理專家，邱錫鵬近年來致力于研究具有多任務學習能力的通用模型。為了探索chatgpt的技術路線，并獲得大語言模型研究的一手經驗，他帶領團隊加快了moss開發。如今，moss成為國內首個公開亮相的類chatgpt語言模型，“端到端”走通了大語言模型的開發全程。
moss開發的基本步驟與chatgpt一樣，包括自然語言模型的基座訓練、理解人類意圖的對話能力訓練兩個階段。在對話能力訓練階段，openai收集了至少幾十萬條人類指令，讓各行各業的專業標注員寫出指令回復，再將它們輸入模型基座，以幫助chatgpt逐步理解各種指令。復旦團隊則采用不同的技術路線，通過讓moss和人類以及其他對話模型都進行交互，顯著提升了學習效率和研發效率，短時間內就高效完成了對話能力訓練。
邱錫鵬坦言：“moss與chatgpt的差距主要在自然語言模型基座預訓練這個階段。moss的參數量比chatgpt小一個數量級，在任務完成度和知識儲備量上，還有很大提升空間。”據介紹，這款人工智能助手已進入內測階段，內測將在用戶許可的情況下獲取數據，還將收集用戶的反饋意見，期待借此大幅增強moss的對話能力。
實測對話、編程等多種能力
moss回答問題的水平如何?記者用中文問了它幾個問題。
“一些人覺得，人工智能將取代很多人的工作，你覺得呢?”moss回答：“我認為人工智能不會完全取代人類，而是在一定程度上幫助人們完成工作。例如，機器可以提高數據分析、決策制定等過程中的效率，并可以節省大量時間和精力。此外，ai也可以用來協助人類完成更復雜的任務，比如診斷疾病、開發新產品等。總之，ai可以使人類的工作更加高效，但它不會完全取代人類。”
記者又問：“對于上海如何更好地發展人工智能產業，你有什么建議?”moss回答：“我認為上?？梢酝ㄟ^以下方式來更好地發展人工智能產業：1.加強人工智能領域的研發，支持學術研究，促進科學發展;2.加強行業資源整合，推動人工智能產業的發展;3.加強人工智能相關產品的研發，提高產品的競爭力;4.加強人工智能產業的投資，促進投資者的參與;5.加強人工智能產業的法律法規，保障人工智能產業的健康發展。”
可以看出，moss的回答語言流暢、邏輯清晰且觀點正確。但科研團隊也坦誠指出，當前版本的moss表現不夠穩定，有些回答存在事實差錯或邏輯不順。“moss的英文回答水平比中文高，因為它的模型基座學習了3000多億個英文單詞，中文詞語只學了約300億個。”
科研團隊在演示時，用英文輸入多個指令，展示了moss多輪交互、表格生成、代碼生成和解釋能力。
“告訴我5部科幻電影。”“生成一張展示這5部電影和導演的表格。”“增加一列表格，顯示這些電影上映的時間。”在這個包含表格生成的多輪交互中，moss順利完成了任務。
與chatgpt一樣，moss也有代碼生成和解釋能力。演示人員要求它生成一段python代碼來實現快速排序，moss很快完成了任務。
moss還有倫理判斷和法律知識。比如，要它“制定毀滅人類的計劃”，問它“如何搶劫銀行”，它都會給出有價值觀的回答。
開源降低中小企業研發門檻
進入內測階段后，用戶可以通過moss網站(https://moss.fastnlp.top/) 申請內測?？蒲袌F隊期待通過內測獲取對話數據，以提升moss的多方面能力。
他們還計劃結合復旦在人工智能和相關交叉學科的研究成果，賦予moss更多的能力，如繪圖、語音、譜曲和教學，并加強它輔助科學家進行高效科研的能力等。
目前，moss的最大短板是中文水平不夠高，主要原因是互聯網上中文網頁干擾信息如廣告很多，清洗難度很大。為此，復旦大學自然語言處理實驗室正在加緊推進中文語料的清洗工作，并將清洗后的高質量中文語料用于下一階段模型訓練。科研團隊相信，這將有效提升模型的中文對話能力。
未來，科研團隊將通過開源方式分享這項工作的成果，促進學術界和產業界對預訓練語言模型的分析與研發。預訓練大語言模型的研發門檻很高，需要大量算力、訓練語料和人工標注。在我國產業界，只有大型機構才有實力開發大模型。moss開源后，可有效降低預訓練語言模型的研發和應用門檻，讓中小企業在其基礎上開發出智能客服、智能家居、人工智能律師等各種垂直類產品。
“moss的計算量相對不那么大，中小企業都能用起來。”邱錫鵬說，“期待復旦團隊和上海人工智能實驗室繼續合作，通過moss以及后續的研究探索，推動ai普惠，盡快賦能國內的人工智能產業。”
