半導體在摩爾定律的指導下發展了數十年，摩爾定律描述了數字技術以及近年來深度學習等先進人工智能形式的巨大發展背后的進步。

摩爾定律實際上是一種觀察結果，由英特爾聯合創始人戈登·摩爾 (Gordon Moore) 在 1965 年提出，該定律認為芯片上的晶體管數量大約每年都會增加一倍。 1975年，他將公式調整為每兩年一次。 幾十年來，這一點一直成立，有助于解釋當今世界的很多問題，包括為什么智能手機和其他數字設備的性價比顯著提高，尤其是與許多其他種類的商品相比。 晶體管的售價一度高達每個 150 美元。 2019 年，典型的英特爾微處理器包含 50 億個，每個成本為 0.0000001 美元。

但有人說，由于晶體管尺寸現在如此之小，摩爾定律所描述的穩定、可預測的進步已經結束，因為某些努力已經接近經濟和物理學的極限。 與深度學習和其他形式人工智能的進步密切相關的其他類型的半導體創新正在進行中。 但是，現在已經不可能以如此清晰、容易被公眾掌握的方式來描述芯片創新的下一階段來預測未來。

半導體巨頭英偉達 (Nvidia) 的首席科學家比爾·達利 (Bill Dally) 表示：“那些日子已經一去不復返了，對吧？”該公司設計了人工智能最需要的芯片。英偉達以圖形處理單元而聞名，圖形處理單元是一種采用 許多核心同時進行計算。人工智能對于 GPU 的需求非常大，尤其是具有許多密集層的神經網絡。

雖然摩爾定律所描述的進步不再像以前那樣迅速發展，但英偉達、谷歌 DeepMind 和其他公司的研究人員正在一系列領域取得進展。

“深度學習是由硬件驅動的。 我們感到繼續下去的巨大壓力，”斯坦福大學計算機科學系前系主任達利說，他仍然是該校的兼職教授。

“事情變得越來越困難，但我們仍然有好的想法……四年后，我們已經非常清楚性能的來源。 我們做了很多探索性的努力來回答這個問題：在那之后性能將來自哪里，”Dally 說，他領導著一個由 300 名擁有博士學位的研究人員組成的團隊。

Dally 表示，Nvidia 的先進數據中心芯片 Hopper 架構于 2022 年推出，并設法將更多晶體管封裝到芯片上，但該芯片的成本比之前的版本更高，而且單個晶體管的成本也更高。 “較小的晶體管并沒有真正幫助我們太多，”達利補充道，“隨著我們從一代過渡到下一代，我們不再降低晶體管的成本。”

盡管如此，考慮到摩爾定律之外存在的其他類型的創新，Hopper 的性價比還是有所提高。 達利表示，他相信至少在未來四年內，實現更多創新的道路是明確的，這意味著與人工智能不斷增長的力量密切相關的硬件改進也應該繼續下去，這將對醫療等眾多行業產生影響。 科學和醫療保健到金融和電子商務。

這項工作利用了稀疏性或將“小”數字舍入為零等概念，從而減少了芯片必須執行的乘法量。

八年前，現在麻省理工學院的 Dally 和 Song Han 以及其他人在 NeurIPS 會議上發表了一篇論文，該論文表明，對于很多神經網絡，他們可以將 90% 的數字歸零，并且不會改變神經網絡的準確性。

“我們仍在研究如何利用更好的硬件來利用這一點，”達利說。

另一個創新領域涉及數字表示，其中數字以各種方式表示，例如一串 1 和 0。 Dally 表示，如果可以用更短的字符串（例如 8 個而不是 16 或 32 個單位或位）來完成此操作，那么乘法等過程中芯片所需的工作量就會相應減少。 這提高了芯片的整體功率和效率。

英偉達和谷歌一直致力于為人工智能定制芯片。 這使得他們能夠比摩爾定律更快地擴展人工智能芯片性能，盡管在芯片上放置更多晶體管變得越來越困難。 2020 年，《華爾街日報》專欄作家克里斯托弗·米姆斯 (Christopher Mims) 以 Nvidia 聯合創始人兼首席執行官黃仁勛 (Jensen Huang) 的名字命名了黃氏定律 (Huang’s Law)，該定律指出，為人工智能提供動力的硅芯片的性能每兩年就會增加一倍以上。

然而，存在一個根本性的差異：人工智能算法每隔幾個月就會進化一次，而設計芯片則需要兩到三年的時間。

通過采用先進的人工智能，可以顯著減少芯片設計的時間和成本。 一些研究人員認為人工智能可以將設計過程從幾年縮短到幾天。 在軟件方面，更好的資源調度和更優化的代碼可以提高現有芯片設計的性能。

數據中心和芯片研究總監 Olivier Temam 表示，緩慢而昂貴的芯片設計還有一個更微妙的后果：它需要人工智能研究人員為現有芯片創建算法，這反過來可能會限制他們設想的人工智能算法的范圍。 ，谷歌 DeepMind。 如果研究人員能夠更容易、更便宜地制造適應新穎人工智能算法的芯片，可能會在該領域釋放更多創造力。

Temam 表示：“人工智能驅動的芯片設計的最新進展與持續的探索相結合，表明我們有一天可能能夠實現芯片設計的自動化，最終帶來生產力的大幅提升，從而改變整個行業。”