微軟研究人員剛剛創建了 BitNet b1.58 2B4T，這是一個開源的 1 位大型語言模型 (LLM)，擁有 20 億個參數，基于 4 萬億個詞元進行訓練。該 AI 模型的獨特之處在于其輕量級設計，能夠在 CPU 上高效運行，TechCrunch 稱 Apple M2 芯片也能運行該模型。該模型也可在 Hugging Face 上輕松獲取，任何人都可以進行實驗。

Bitnets 使用 1 位權重，且只有三個可能值：-1、0 和 +1——由于支持三個值，從技術上講，它是一個「1.58 位模型」。與采用 32 位或 16 位浮點格式的主流 AI 模型相比，這節省了大量內存，使其能夠更高效地運行，并減少對內存和計算能力的需求。然而，Bitnet 的簡潔性也有一個缺點——與大型 AI 模型相比，它的準確性較低。不過，BitNet b1.58 2B4T 憑借其海量訓練數據（估計超過 3300 萬冊書籍）彌補了這一缺陷。

這款輕量級模型背后的團隊將其與領先的主流模型進行了比較，包括 Meta 的 LLaMa 3.2 1B、谷歌的 Gemma 3 1B 和阿里巴巴的 Qwen 2.5 1.5B。BitNet b1.58 2B4T 在大多數測試中都比這些模型取得了相對不錯的成績，甚至在一些基準測試中獲得了最高榮譽。更重要的是，它僅消耗了 400MB 的非嵌入式內存，不到第二小模型（Gemma 3 1B）1.4 GB 內存的 30%。

然而，LLM 必須使用 bitnet.cpp 推理框架才能高效運行。該團隊特別指出，「即使使用必要的 fork，該模型與標準 Transformer 庫一起使用時，也不會獲得性能效率提升」。

如果您想在輕量級硬件上充分利用其優勢，則需要獲取 GitHub 上提供的框架。該存儲庫將 bitnet.cpp 描述為「提供一套優化的內核，支持在 CPU 上快速無損地推理 1.58 位模型（后續將支持 NPU 和 GPU）。雖然它目前不支持 AI 專用硬件，但它仍然允許任何擁有計算機的人在無需昂貴組件的情況下進行 AI 實驗。

人工智能模型常常因訓練和運行耗能過高而受到詬病。但輕量級的 LLM（例如 BitNet b1.58 2B4T）可以幫助我們在性能較弱的硬件上本地運行人工智能模型。這可以減少我們對大型數據中心的依賴，甚至讓那些無法使用內置 NPU 的最新處理器和最強大 GPU 的人也能使用人工智能。

可以看到，微軟正在 AI 領域做更多的探索。前不久，微軟正將旗下多項人工智能功能全面開放給搭載英特爾和 AMD 芯片的 Copilot Plus PC。此前，這些先進的 AI 特性主要面向配備高通芯片的同類電腦。此次功能更新中最引人注目的是「實時字幕」（Live Captions）。這項功能能夠實時將數十種不同語言的音頻翻譯成英文字幕。微軟早在去年 12 月就開始在搭載英特爾和 AMD 芯片的設備上測試該功能，而現在，通過最新的 Windows 11 更新，所有符合條件的 Copilot Plus PC 用戶都可以使用這個強大的工具。

除了實時字幕外，本次更新還包括了畫圖應用（Paint）中的 AI 工具「協同創作者」（Cocreator）。用戶只需輸入文字描述，并結合當前的繪畫內容，協同創作者便能生成相應的圖像。此外，微軟還將進一步擴大照片應用中 AI 圖像編輯器和生成器的使用權限，讓更多用戶能夠輕松進行智能圖像處理和創作。

值得注意的是，此前這些 AI 功能僅在采用高通芯片的 Copilot Plus PC 上提供。微軟去年已開始在英特爾和 AMD 設備上測試另一項名為「Recall」的 AI 功能。該功能可以截取用戶在 Copilot Plus PC 上的活動屏幕截圖，并允許用戶進行搜索。盡管如此，微軟尚未公布 Recall 功能何時能夠正式向所有用戶開放。

與此同時，微軟還在搭載高通芯片的 Copilot Plus PC 上更新了「語音訪問」（Voice Access）功能。這是一項輔助功能，旨在幫助用戶通過語音控制電腦。微軟表示，使用高通芯片設備的語音訪問用戶現在將能夠「使用更具描述性和靈活性的語言與他們的電腦進行交流」。此外，本次更新還新增了將 27 種語言翻譯成簡體中文的功能。微軟方面透露，計劃在未來將這兩項語音訪問的更新推廣到搭載英特爾和 AMD 芯片的設備上。