AI 生產力的革命，微軟怎會缺席？

在今天的開發者大會上，曾經誓要「顛覆」10 億打工人的 Copilot，依然是全程的主角。

▲ 沒想到 70 年后，還是要靠微軟重新定義軟件

不僅有 Copilot 加持的全新 AI PC，日常生活助手 Copilot，還有為全世界開發者提供的 AI 工具堆棧。

更驚喜的是，Sam Altman 竟然在發布會的最后，被 CTO Kevin Scott 請上了臺！

兩人開場先是一波寒暄，然后共同感慨，這簡直是瘋狂的一周，瘋狂的一年！

針對前段時間的 OpenAI 離職潮，阿爾特曼似乎用了一些隱晦的話語來暗戳戳回應：「為了讓 GPT 變得穩健、安全，我們做了很多工作。OpenAI 創建了眾多團隊來確保 LLM 按預期工作。」

三大殺器

過去的一年半里，世界發生了諸多變化，其中最令 Altman 本人震驚的事是什么？

Altman 表示，數百萬開發者是推動過去一年里世界巨變的核心。

從 GPT-4 ，再到 GPT-4o 的發布，盡管模型 API 推出時間不久，但我從未見過一項技術能如此迅速地得到有意義的應用。

人們正在構建我們從未想過的創新應用，完全展現了開放 API 的價值所在。

而 Kevin Scott 也調侃道：看得出來，你們很好地利用了手里的超強超算。

▲ 2020 年交付的「鯊魚」級超算訓出了 GPT-3，接下來的「虎鯨」級超算訓出 GPT-4，而現在「鯨魚」級超算微軟正交付給 OpenAI

阿爾特曼還表示，新的模態和整體智能將是 OpenAI 下一個模型的關鍵。

他預計模型將會變得更智能、更強大，更安全，而且 GPT-4o 將會速度更快，成本更低。

是的，就像摩爾定律推動信息革命一樣，Scaling Law 和模型架構一起，改變了我們使用數據、生成數據的方式。

在這些縮放定律的影響下，我們擁有一個新的自然用戶界面，這是一個模型，這意味著支持文本、語音、圖像、視頻作為輸入和輸出。

Microsoft Copilot，是日常生活中的助手；Copilot stack，則可以讓我們構建 AI 程序、解決方案等。

還有一個重頭戲，當然就是昨天發布的全新 Copilot+ PC，它直接打破了紀錄，成為有史以來最快的 AI 電腦！

如今，Windows 成為了構建 AI 應用的最佳平臺。而這種影響，不啻于 Win 32 對圖形用戶界面的意義。

GitHub Copilot「插件商店」首發

繼 Copilot 成為最流行的代碼補全工具和「個人助理」之后，微軟本次又更新了這個效率提升神器。

微軟表示，很多開發者在代碼之外花費了 75% 的時間，比如追蹤工作流、以及撰寫需求文檔和規格說明等。

不僅如此，定位和修復 bug 的工作往往需要頻繁進行上下文切換，開發者在數據庫、IDE、代碼倉庫、監控工具、云平臺之間疲于奔命，無法專注于代碼本身。

這正是全新 GitHub Copilot 可以發揮作用的地方。

它可以通過對話的方式將所有流程整合在一起，幫你調用所有工具和平臺，開發者只需要專注于 IDE 界面的核心代碼內容，最大限度減少上下文切換。

不僅如此，基于強大的網絡搜索和推理決策能力，Copilot 還能回答關于開發過程的問題。

比如在下面這個 demo 中，用西班牙語描述需求，Copilot 就可以自動編寫出代碼，并為 Azure 上的部署提供建議。

GitHub 產品副總裁表示：「使用自然語言編程將繼續降低軟件開發的門檻。未來，10 億人可以利用 GitHub Copilot，以自然語言的方式與開發技術棧中的任何工具集成，在 GitHub 上構建代碼。」

GitHub Copilot 支持各種各樣的開發工具和平臺，包括 DataStax, Docker, MongoDB, Octopus Deploy, Pangea, Pinecone, Product Science, ReadMe, Sentry, Stripe 以及微軟自家的 Office 全家桶、Azure 和 Teams。

GitHub 產品高級副總裁 Mario Rodriguez 表示：「我們的目標是使 GitHub Copilot 成為最集成、最強大、最智能的 AI 平臺。」

在此基礎上延伸出的 Copilot Workspace 更是提高了開發團隊使用 GitHub 管理項目代碼的效率。

之前，用戶只能通過 Git Bash 命令行上傳項目文件，圖形化界面能進行的操作非常有限。

有了 Copilot Workspace，各種時間線和代碼分支一目了然，上傳文件也容易很多。

而且還提供了非常清晰的代碼變動可視化界面，讓你自始至終都對項目有滿滿的掌控感。

截止目前，GitHub Copilot 仍處于內測階段，之后將在 GitHub 插件市場中發布。

不僅如此，對開發者來說，更酷的是 —— 你可以定制自己的 Copilot 插件！

3 種方式，定義自己的 Copilot 插件

SharePoint

SharePoint 是微軟開發的用于組織內部存儲、管理和共享內容的平臺，每天上傳數量超過 20 億條。

為了減少工作中搜索和篩選內容的時間，微軟開發了從 SharePoint 創建 Copilot 的功能。

任何擁有 SharePoint 網站編輯權限的人，只需點擊幾下就可以自定義 Copilot 功能，還可以通過 Teams 聊天框、電子郵件等方式將創建好的 Copilot 分享給團隊中其他成員。

點選好 SharePoint 中允許訪問的內容范圍，以及 Copilot 的身份和行為等信息，它就可以立刻投入工作了。

比如內容回答問題、總結信息或者查找文件，基于你之前授權給它的內容，Copilot 可以提供最新、最準確的響應。

想要在 SharePoint 之外創建自己的 Copilot?

沒問題！微軟還發布了 Copilot Studio，提供更靈活的自定義功能。

Copilot Studio

在 SharePoint 之外，Copilot Studio 支持超過 1000 個數據連接器，方便你將各種數據源導入 Copilot。

Copilot Studio 依舊采用類似 SharePoint 中「對話驅動」的界面，你可以像聊天一樣描述 —— 想要 Copilot 有什么樣的知識和功能，Copilot Studio 就可以立即創建，并支持實時的測試、修改和發布。

為了用戶更容易上手使用，Studio 中還內置了各種 Copilot 模板，比如用于組織清晰度的 Organizatiion Navigator、用于員工健康管理的 Wellness 等，未來幾個月還會有更多 Copilot 模板發布。

使用 Copilot Studio，你會有一種一切盡在掌握的感覺。

VSCode

如果你是一個高端玩家，更喜歡用代碼優先的方式構建插件，也可以使用 Visual Studio Code 和 Teams Toolkit，編寫函數來精準定義 Copilot 的工作流。

Copilot 新能力解鎖

Copilot 早就不止步于代碼補全功能，而是已經演變「個人助理」，成為打工人們的效率提升神器，而且與多種工具和平臺合作，構建起一套完整的「Copilot 生態」。

本次 Build 大會上，微軟又為 Copilot 解鎖了一系列新功能。

Team Copilot

Team Copilot 將功能延伸到「個人助理」之外，開始成為團隊的一員。

它能承擔單獨的職責，提升整個團隊的工作效率，比如組織并記錄會議、跟蹤討論內容等，甚至可以充當項目經理，為成員分配任務并及時跟進 ddl。

對于聊天界面中團隊成員們的討論進展，Copilot 還能實時更新自己的記錄內容。

可以在 Microsoft 自家開發的 Teams、Loop 或者 Planner 等協作辦公軟件中使用 Team Copilot。

這項功能將在今年晚些時候以預覽版形式向有 Copilot 許可證的用戶發布。

Agents Copilot

如果 Copilot 僅僅進化到團隊助手，你可能還是小看了微軟。

就像用戶可以自定義 Copilot 插件一樣，你也可以使用 Copilot Studio 自定義一個 Copilot Agent。

它不再像原來一樣被動地等著你問問題或者分配任務，而是變成「事件觸發」的智能體，像虛擬員工一樣工作并自動執行任務。

這意味著，Copilot Agent 不僅需要記憶、上下文推理以及根據反饋學習的能力，而且需要更加主動，能夠在后臺自發執行任務。

這樣的 Copilot 豈不是會讓一大批白領失業？

微軟業務應用程序和平臺公司副總裁 Charles Lamanna 在采訪中表示，它可以消除一些重復、瑣碎的工作，例如數據輸入等，也許都是沒有人真正想做的事情。

GPT-4o 上新，多款基礎模型可用

除了 Copilot 華麗的演示之外，在開篇提到的三個平臺中，最核心的是構建最完整的端到端堆棧 ——Copilot stack。

其中，最底層是基礎設施，然后是基礎模型層。

基礎設施

為了 AI 工作負載，微軟特意構建了全新的數據中心。

因此，微軟可以用每一兆瓦的功率，來降低 AI 的成本和功耗。

截止 2024 年 5 月，Azure 超算能力已經實現了 30 倍的增長！

可以說，他們提供了世界上最先進的 AI 加速器，開發者可以擁有最完整的 AI 加速器選擇。

從 GPT-4 到 GPT-4o，不僅模型的速度提高了 6 倍，成本更是便宜了 12 倍。

而這背后，是微軟與英偉達、AMD 的深度合作，以及自研芯片的大力推進。

英偉達關鍵平臺產品，都會引入微軟的云中。

而說到和 AMD 的合作，微軟是第一個提供最新 ND MI300X v5 虛擬機的云服務供應商。

無論對于 AMD，還是對于微軟，這都是一個意義重大的里程碑。

自研 Azure Maia 100，只要你用過微軟的服務，或多或少都會接觸到。

而最新 Azure Cobalt 也開始進行公開預覽了，目前已經為 Microsoft Teams 等服務提供了數十億次對話的支持。

基礎模型

在基礎模型方面，微軟與 OpenAI 展開了深度合作，而現在 GPT-4o 可以在 Azure 上進行訓練。

一張圖，展示了 GPT-4o 依舊是最強的模型。

而在如此強大的模型的加持下，Copilot 甚至已經「進化」到指導我們怎么玩游戲了！

舉個例子，你想弄清如何在《我的世界》中制作一把劍，卻毫無頭緒。

Copilot 會從頭教你：為了造一把劍，你需要先收集材料。按 E 鍵，就能打開自己的材料庫了。

Copilot 發現，我們缺少制作劍刃的材料，為此，需要收集木材、石頭、鐵、金或者鉆石。

忽然出現的小人，讓玩家嚇了一跳。

Copilot 提示道：這是一場僵尸賽跑，我們需要盡快擺脫它們。要么快速建一座方塊塔，或者快速找到一個避難場所，還可以挖到山的另一側。

此外，微軟首次介紹了十分強大的 Agent 能力。

想露營但找不到合適的鞋怎么辦？給它看一眼你的鞋，就能讓它給你提意見了。

Agent 分析道，這款非常適合夏季遠足、讓雙腳保持涼爽，然而卻不是這次的最佳選擇。

既然如此，我們就讓 Agent 直接挑一款最合適的。

Agent 發現，這次最合適的產品是 TrekReady Hawking，它為腳踝提供了支撐，還能在寒冷的山區為腳部提供保暖。然后，它還幫我們把這雙鞋添加到購物車中。

當然，除了 OpenAI 的模型之外，微軟 Azure 平臺還將提供多款可用的模型。

并且，微軟依舊擁抱開源社區，與 Hugging Face 合作。

最強小語言模型：Phi-3

除了引入外部模型之外，微軟一直以來都在押注小模型，并引領了一場 SLM 革命。

從去年 6 月 Phi-1 面世，到 Phi-1.5、Phi-2，再到如今 Phi-3，微軟小模型已經完成四次迭代升級。

今天，Phi-3 家族正式官宣新成員：

Phi-3-vision、Phi-3-small，Phi-3-medium。

其實，Phi-3-small，Phi-3-medium 對于每個人來說，或許并不陌生了。

上個月，微軟首次亮相 Phi-3-mini，經過 3.3 萬億 token 訓練僅有 38 億參數，而且還可以部署在手機上，性能與 Mixtral 8x7B 和 GPT-3.5 相媲美。

論文地址：https://arxiv.org/pdf/2404.14219

另外，技術報告中，還首次展示了經過 4.8T token 訓練的 7B 模型 Phi-3-small，以及 14B 模型 Phi-3-medium。

具體來說，Phi-3-small 提供了 8k 和 128k 上下文，實力與 Llama-3-8B-In、Gemma 7B，以及 Mistral 7B 相當。

而提供了 4k 和 128k 上下文的 Phi-3-medium，性能可以超越 Mistral 8x7B。

而現在，這些模型已經在 Hugging Face 上發布，開發者們可以下載權重并使用。

多模態 Phi-3

真正引人關注的是，Phi-3 在今天正式推出了多模態模型 Phi-3-vision，有 42 億參數，128k 上下文。

它可以完成一般的視覺推理任務，比如現場演示中，詢問圖表中的信息。

甚至，人們還可以使用 Phi-3-vision 進行 OCR、表格理解、一般圖像理解等。

值得一提的是，這款輕量模型僅用了一天半的時間，在 512 塊 H100 上完成了訓練。

它使用了 500B 視覺和文本 token，其中「教科書數據集」一直以來是 Phi 系列模型的訓練核心。

這次，Phi-3-vision 的訓練的圖像數據來自，精選高質量圖文搭配的內容，還有新創建的「教科書」式的綜合數據。

其中包括，圖表、表格、示意圖、幻燈片等教授的數學、編碼、常識推理等。

盡管參數量級非常小，在多模態基準測試中，Phi-3-vision 的性能超越了 Claude 3 haiku、LlaVa 和 Gemini 1.0 Pro。

甚至，各項性能非常接近 GPT-4V。

一些開發者已經上手體驗了，并稱令人印象極為深刻。

還有一些開發者們也決定嘗試一番。

以上 Phi-3 模型，不僅可以在云端運行，甚至可以在本地運行。

SOTA 小模型 Phi-Silica

此外，納德拉還在今天發布了 Phi 系列的 SOTA 模型 ——Phi-Silica。

微軟稱，這是一款專為 Copilot+ PC 設計的 33 億參數模型，每秒可以處理 650 token 的，功率消耗約為 1.5 瓦。

這就意味著，Phi-Silica 不會占用大量算力，并可以釋放 PC 的 CPU 和 GPU 來處理其他計算。

另外，它的 token 生成會重用 NPU 的 KV 緩存，并在 CPU 上運行，大約每秒可輸出 27 個 token。

微軟表示，「Phi-Silica 的不同之處在于，它是 Windows 首個本地部署的語言模型」。

它針對 Copilot+PC NPU 進行了優化，可在本地設備上實現超快的推理響應速度。

這是 Windows 將先進的 AI 技術直接帶給第三方開發者的一個里程碑時，為他們開發出色的 Windows 原生體驗和第三方體驗鋪平了道路。

Phi-3 模型最新的應用，便是微軟還和可汗學院聯合打造教育模型。

在模型的幫助下，學生們不僅得到了個性化的 AI 指導，老師們也感受到了自己的價值。

更重要的是，在 Phi-3 的加持下，能夠免費提供給教育工作者的 Khanmigo，必將極大地改變美國的教育界。

Windows

Copilot+ PC 將重新定義任何一個人在 PC 所做的一切。

Pavan Davuluri 展示了 Copilot 加持下的玩家，不用谷歌搜索，詢問即可通過被卡住的關卡。

通過將 Copilot 集成到 Xbox 中，可以大幅提升游戲體驗。

此外，微軟還與 Quest 聯手，將 Copilot 帶進 VR 世界，并為 Quest 帶來可擴展到 3D 空間的 Windows 應用程序。