六大門派，圍攻云端AI芯片光明頂
加入技術交流群
編輯 | 漠影
AI芯片的戰場，明顯更熱鬧了。就在上周五，國際權威人工智能（AI）性能基準測試MLPerf公布了最新的數據中心及邊緣場景AI推理榜單結果，無論是參與評選的企業還是實際AI芯片表現，都比往屆多了不少看頭。
MLPerf數據中心推理榜單：
https://mlcommons.org/en/inference-datacenter-21/
MLPerf邊緣推理榜單：
https://mlcommons.org/en/inference-edge-21/
01.H100王者登場，英偉達仍然稱雄
▲英偉達H100性能比A100高出4.5倍（圖源：英偉達）
英偉達基于H100 GPU單芯片提交了兩個系統，一個系統配備AMD EPYC CPU作為主機處理器，另一個系統配備英特爾至強CPU。可以看到，雖然采用英偉達最新Hopper架構的H100 GPU這次只展示了單芯片的測試成績，其性能已經在多個情況下超過有2、4、8顆A100芯片的系統的性能。
▲英偉達H100在數據中心場景所有工作負載都刷新性能記錄（圖源：英偉達）
特別是用在對更大規模、更高性能提出要求的自然語言處理BERT-Large模型上，H100的性能比A100和壁仞科技GPU超出一大截，這主要歸功于其Transformer Engine。H100 GPU預計在今年年底發布，后續還會參加MLPerf的訓練基準測試。此外，在邊緣計算方面，將英偉達Ampere架構和Arm CPU內核集成在一塊芯片的英偉達Orin，運行了所有MLPerf基準測試，是所有低功耗系統級芯片中贏得測試最多的芯片。值得一提的是，相比今年4月在MLPerf上首次亮相的成績，英偉達Orin芯片的邊緣AI推理能效進一步提高了50%。
▲在能效方面，Orin邊緣AI推理性能提升多達50%（圖源：英偉達）
從英偉達往屆在MLPerf提交的測試結果，可以看出AI軟件帶來的性能提升越來越顯著。自2020年7月在MLPerf上首次亮相以來，得益于NVIDIA AI軟件的不斷改進，A100的性能已經提升6倍。目前，NVIDIA AI是唯一能在數據中心和邊緣計算中運行所有MLPerf推理工作負載和場景的平臺。通過軟硬協同優化，英偉達GPU在數據中心及邊緣計算中實現AI推理加速的成績更加突出。02.壁仞科技通用GPU參戰ResNet和BERT模型性能超A100
▲壁仞科技BR104在BERT模型評選中同時拿下離線和在線模式的整機性能領先（圖源：壁仞科技）
從測試結果來看，在BERT模型的評選中，相較于英偉達提交的基于8張A100的機型，基于8張壁仞科技BR104的機型，性能達到了前者的1.58倍。
▲壁仞BR104在ResNet-50和BERT模型評選中單卡性能超過A100
總體來看，壁仞科技8卡PCle解決方案的性能表現，估計會介乎英偉達8卡A100與8卡H100之間。除了壁仞科技自己提交的8卡機型外，知名服務器提供商浪潮信息還提交了一款搭載4張壁礪104板卡的服務器，這也是浪潮信息首次提交基于國產廠商芯片的服務器測試成績。在所有的4卡機型中，浪潮提交的服務器在ResNet50（Offline）和BERT（Offline & Server, 99.9%精度）兩個模型下，也奪得了全球第一。
03.墨芯S30奪魁圖像分類單卡算力95784 FPS遠超H100
▲墨芯人工智能S30計算卡
此次墨芯參加的是開放優化類的測試。根據最新MLPerf推理榜單，墨芯S30計算卡以95784FPS的單卡算力，奪得ResNet-50模型算力第一，是H100的1.2倍、A100的2倍。在運行BERT-Large高精度模型（99.9%）方面，墨芯S30雖未戰勝H100，卻實現了高于A100性能2倍的成績，S30單卡算力達3837SPS。
▲運行ResNet-50和BERT-Large模型時，墨芯S30與A100、H100的對比（圖源：墨芯人工智能）
值得一提的是，墨芯S30采用的是12nm制程，而英偉達H100采用的是更先進的4nm制程，能夠在制程工藝存在代際差的情況下追平兩大數據中心主流AI模型的性能表現，主要得益于墨芯自主研發的稀疏化算法及架構。MLPerf的測試要求非常嚴格，不僅考驗各產品算力，同時設置精度要求在99%以上，以考察AI推理精度的高要求對計算性能的影響，也就是說參賽廠商不能以犧牲精度的方式換取算力提升。這亦證明了墨芯能做到在實現稀疏化計算的同時兼顧精度無損。04.高能效，高通云端AI芯片的王牌
▲高通Cloud AI 100
MLPerf最新披露的評測結果中，富士康、創通聯達（Thundercomm）、英業達（Inventec）、戴爾、HPE和聯想都提交了使用高通Cloud AI 100芯片的測試成績?？梢钥闯?，高通的AI芯片已經在被亞洲云服務器市場接納。高通Cloud AI 100有兩個版本，專業版（400 TOPS）或標準版（300 TOPS），都具有高能效的優勢。在圖像處理方面，該芯片的每瓦性能比標準部件的NVIDIA Jetson Orin高1倍，在自然語言處理BERT-99模型方面的能效亦是略勝一籌。
▲高通Cloud AI 100在ResNet-50及BERT-99模型測試中的能效比領先（圖源：高通）
在保持高能效的同時，高通的AI芯片并沒有以犧牲高性能為代價，一臺5卡服務器功耗75W，可實現的性能比2卡A100服務器高出近50%。而單臺2卡A100服務器的功耗高達300W。
▲高通Cloud AI 100的每瓦性能表現（圖源：高通）
面向邊緣計算，高通Cloud AI 100在圖形處理方面展現出的高能效已經非常有競爭力，不過大型數據中心對芯片的通用性會有更高要求，如果高通想要進一步打入云端市場，可能得在下一代云邊AI芯片的設計上擴展對推薦引擎等更多主流AI模型的支持。
▲實現邊緣服務器高能效，不以犧牲高性能為代價（圖源：高通）
05.韓國首款AI芯片亮相對打英偉達入門級AI加速卡
▲Sapeon X220部分參數
其測試結果也很有意思。Sapeon X220搭載于Supermicro服務器上，在數據中心推理基準測試中的性能超過了英偉達去年年底發布的入門級AI加速卡A2 GPU。其中，X220-Compact的性能比A2高2.3倍，X220-Enterprise的性能比A2提升4.6倍。能效表現同樣不錯，在基于最大功耗的每瓦性能方面，X220-Compact的能效是A2的2.2倍，X220-Enterprise的能效是A2的2.0倍。
▲Sapeon X220系列與英偉達A2的性能及能效對比（圖源：SAPEON）
值得一提的是，英偉達A2采用的是先進的8nm制程，而Sapeon X220采用的是28nm成熟制程。據悉，Sapeon芯片已經應用在智能音箱、智能視頻安全解決方案、基于AI的媒體質量優化解決方案等應用中。今年SK電訊還將AI芯片業務獨立出來，成立了一家名為SAPEON的公司。SAPEON首席執行官Soojung Ryu透露說，未來該公司計劃拓展X220的各個應用領域，有信心在明年下半年用下一代芯片X330與競品拉開差距，進一步提高性能。06.英特爾預覽下一代服務器CPU阿里倚天710 CPU首參評
07.結語：英偉達江湖地位穩固國產AI芯片新勢力發起沖鋒
芯東西
芯東西專注報道芯片、半導體產業創新，尤其是以芯片設計創新引領的計算新革命和國產替代浪潮；我們是一群追“芯”人，帶你一起遨游“芯”辰大海。
公眾號
*博客內容為網友個人發布，僅代表博主個人觀點，如有侵權請聯系工作人員刪除。
