聯發科推繁中大型語言模型
聯發科集團轄下的前瞻技術研究單位聯發創新基地、中央研究院詞庫小組和國家教育研究院等三方所組成的研究團隊,23日宣布推出全球第一款繁體中文語言模型到開源網站提供測試,后續將有機會持續推動具備繁體中文的人工智能(AI)市場發展。
聯發科表示,本次公開釋出以開源語言模型BLOOM開發的繁體中文大型語言模型(Large language model),比目前開源可用的最大繁體中文模型大1,000倍,所使用的訓練數據也多1,000倍。該模型已公開讓外界下載,可應用于問答系統、文字編修、廣告文案生成、華語教學、客服系統等。
聯發創新基地負責人許大山表示,大型語言模型是近年來人工智能技術進步的亮點,更是未來進步不可或缺的基石。此次結合中研院及國教院,成為臺灣極少數能訓練大型語言模型的團隊,以透明、開放和包容的方式,善用技術、人才及資源,既發展自主訓練大型人工智能模型的能力,也讓繁體中文的大型語言模型研究及應用更為普及。
開放原始碼釋出的大型語言模型,目前多數仍以英文為主要優化的對象,繁體中文的語言模型相對不足。有鑒于開放原始碼繁體中文大型語言模型的重要性與迫切性,在2022年5月,聯發創新基地、中央研究院和國家教育研究院展開合作計劃,使用大型語言模型BLOOM的繁體中文模型再訓練與優化。
目前開放系列中第一個有量級跳躍意義的繁體中文語言模型,聯發創新基地也暫備一個手機網頁接口,供研究者試用。
為建立該項語言模型,國家教育研究院提供了大量高質量的繁體中文語料,作為主要的訓練材料。聯發創新基地則建置了訓練的硬件環境,制訂各種符合國際標準的繁體中文評量指標,收集更近期的語料,并對模型進行能更有效讀懂使用者的指示(prompt)的特別訓練。
評論