27 億參數,微軟發布 Phi-2 模型:某些性能指標優于 Llama-2-7B
IT之家 11 月 17 日消息,微軟 Ignite 2023 大會已拉開帷幕,微軟在本次活動中發布了旗下最小的語言模型 Phi-2,共有 27 億參數,相比較此前版本有明顯提升。
本文引用地址:http://www.j9360.com/article/202311/453047.htmIT之家注:微軟于今年 6 月發布 Phi-1,只有 13 億參數,適用于 QA 問答、聊天格式和代碼等等場景。該模型完全基于高質量數據進行訓練,在基準測試中的表現比同類模型高出 10 倍。
微軟今年 9 月更新發布了 Phi-1.5 版本,同樣為 13 億參數,可以寫詩、寫電子郵件和故事,以及總結文本。在常識、語言理解和推理的基準測試中,該模型在某些領域能夠跟上多達 100 億個參數的模型。
微軟現在更新發布的 Phi-2 擁有 27 億參數,規模雖然比此前版本翻番,但相比較其它主流語言模型,依然小很多。
微軟表示 Phi-2 在邏輯推理和安全性方面顯示出顯著的改進。通過正確的微調和定制,小型語言模型是云和邊緣應用程序的強大工具。
Microsoft Research 機器學習基礎小組負責人 Sebastien Bubeck 在 Twitter 上發布了“MT-Bench”基準測試的屏幕截圖,該基準測試了具有強大語言模型(例如 GPT-4)的大型和小型語言模型的實際功能。
根據結果,Phi-2 在某些方面優于 Meta 的 Llama-2-7B 模型。Phi-2 的聊天版本也在醞釀中,可能會解決該模型在這些領域的一些現有痛點。
評論