作者：Arm 終端事業部產品管理總監 Ronan Naughton

2022 年，首個云端文生圖的生成式人工智能 (AI) 用例誕生。通過“一張宇航員騎馬的照片”文字提示，生成了一張 AI 圖像，雖然圖像還存在瑕疵，但展示了生成式 AI 令人驚嘆的能力和潛力。

當時我并未在云端運行這個用例，而是在想： “這很棒，但它能在移動設備上實現嗎？”

生成式 AI 是當今智能手機體驗的一部分

時至今日，答案已顯而易見。事實上，許多生成式 AI 工作負載，如圖像生成和文本摘要，已無縫融入現代智能手機體驗之中，且這些任務均能在端側進行高效處理。這得益于旗艦 AI 智能手機卓越的計算能力，以及生成式 AI 所依賴的大語言模型 (LLM) 不斷向更小、更高效的方向發展。這些趨勢將繼續演進，意味著在不久的將來，生成式 AI 將成為移動端應用的標配。

AI 工作負載始于 CPU

正如我們之前談到的 ，移動端 AI 始于 CPU。它為全球開發者提供了軟件靈活性和可編程性。此外，地球上每一臺數字消費電子設備都搭載 CPU，CPU 的無處不在意味著開發者創建應用時，可以“一次編寫，即可隨處部署”，確保覆蓋更為廣泛的用戶。

今年早些時候，我們進行了 聊天機器人演示 ，它能作為科學和編程虛擬助教，并在移動端 CPU 上流暢運行。此次演示的成功，表明我們開始探索在 Arm CPU 上運行更多端側生成式 AI 用例，以更好地滿足智能手機用戶的日常使用需求。由此，我們創建了三款新的演示，包括 群聊總結 、 語音留言總結 和 實時語音助手 。它們和聊天機器人演示一樣，完全在端側處理和運行生成式 AI 工作負載，相比將數據發送到云端處理，這能提供更好的隱私性、降低延遲，并具備成本優勢。

新的生成式 AI 演示

對我個人而言，群聊總結和語音留言總結在日常生活中非常實用。和大多數智能手機用戶一樣，我總會收到親朋好友的各種消息和語音，用生成式 AI 總結聊天內容很有幫助。

群聊總結演示可以針對包含多個參與者的群聊消息快速提煉要點，并以易于理解的格式呈現。除群聊消息總結之外，該功能還適用于其他場景，例如電子郵件內容總結。更令人稱道的是，該用例也支持多模態，甚至可以在總結中巧妙融入圖片信息。

語音留言總結演示可以展示 LLM 和語音轉文本模型如何通過協同工作總結和轉錄用戶收到的語音留言。 先由模型將語音留言轉換為文本，再由 LLM 加以總結。 對我個人而言，這真的節省了大量時間！

和之前的聊天機器人演示一樣，實時語音助手演示的創新亮點在于，它完全可以在飛行模式下獨立運行，充分展示了 Arm CPU 在端側處理生成式 AI 工作負載的強大能力。

該演示先使用 whisper.cpp 自動識別語音，再進入 LLM 模塊，使用 Google AI Edge 的 MediaPipe 運行 Gemma 2B 模型。 此外，也可選擇 Llama 3 模型。 即使使用 30 億參數模型，也能實現實時對話，聲音逼真，且能感知語境、進行多輪對話。

為了顯著提升性能，我們在用于語音識別的 whisper 模塊和用于生成響應的 LLM 模塊中都集成了 Arm KleidiAI ——一組專為生成式 AI 工作負載而高度優化的AI軟件內核，能夠顯著提升性能表現。該用例還可用于汽車應用，駕駛員無需手動操作，僅憑語音指令即可與設備互動，例如在行車途中詢問導航方向，或與游戲角色互動對話，極大地提升了駕駛體驗。

在以上三種演示中，我們都使用了旗艦級AI 智能手機，包括 搭載 MediaTek 天璣 9300 芯片的 vivo X100 、搭載 MediaTek 天璣 9200+ 芯片的紅米 K60 至尊版 ，以及搭載 Google Tensor G3 芯片的 Google Pixel 8 和 Pixel 8 Pro，這些手機的芯片組均采用了 Armv9 CPU 技術，該技術融入了諸如 SVE2 等全新架構特性，旨在大幅提升 AI 性能。

未來，基于 Arm CPU 打造的旗艦 AI 智能手機將利用 可伸縮矩陣擴展 (SME) 架構特性，加速 AI 工作負載，并為 Arm CPU 上運行的 AI 應用提高性能、能效和靈活性。

展望未來

盡管生成式 AI 已經展現了諸多潛力，但其未來的發展前景將更加令人期待。事實上，我認為我們在端側生成式 AI 領域，尤其是在圖像和視頻生成方面，還僅僅處于初步探索階段。

近期，OpenAI 展示了由文本生成視頻，Luna Labs 演示了由圖像生成視頻。雖然兩種生成式 AI 工作負載都在云端處理，但根據當前的趨勢發展，預計在未來兩年內，這些工作負載就有可能在移動端CPU上得以實現，就像剛才提到的騎馬的宇航員用例一樣！

Arm 平臺是端側生成式 AI 的基石

生成式 AI 陸續實現了各種不同的用例和工作負載，不斷鞏固著智能手機在個人和專業計算中的核心地位。這讓我們更加期待生成式 AI 在移動領域的發展。

全球 99% 的智能手機和業界領先的移動生態系統都采用了普遍的 Arm CPU 技術，Arm 也將通過持續的技術賦能，實現這些令人贊嘆的可能性。

我們將持續優化 Arm CPU，為其增加更多功能和架構特性，同時通過 Arm Kleidi 為開發者釋放更多 AI 性能。作為引領未來 AI 發展的移動平臺，Arm 將持續推動該領域的革新與進步。