根據幾年前的樂觀預測，自動駕駛汽車現在應該已經在我們的車庫里了。但隨著自動駕駛出租車的采用率上升，消費者逐漸習慣了車輛中越來越復雜的駕駛輔助系統，我們可能正在接近一些轉折點。總部位于硅谷的 Helm.ai 是一家推動發展的公司，該公司為駕駛員輔助系統和全自動駕駛汽車開發軟件。

該公司為自動駕駛汽車在道路上所需的意圖預測和路徑規劃提供基礎模型，還使用生成式 AI 創建合成訓練數據，讓車輛為許多可能出錯的事情做好準備。 IEEE Spectrum 與 Helm.ai 的創始人兼首席執行官 Vladislav Voroninski 就該公司創建合成數據來訓練和驗證自動駕駛汽車系統進行了交談。

Helm.ai 如何使用生成式 AI 來幫助開發自動駕駛汽車？

弗拉迪斯拉夫·沃羅寧斯基：我們將生成式 AI 用于模擬目的。那么，給定你觀察到的一定數量的真實數據，你能根據這些數據模擬新的情況嗎？您希望創建盡可能真實的數據，同時實際提供新內容。我們可以從任何相機或傳感器創建數據，以增加這些數據集的多樣性，并解決訓練和驗證的極端情況。

我知道您使用 VidGen 創建視頻數據，使用 WorldGen 創建其他類型的傳感器數據。不同的汽車公司是否仍然依賴不同的模式？

沃羅寧斯基： 我們的客戶肯定對多種模式感興趣。不是每個人都只想用視力做所有事情。相機相對便宜，而激光雷達系統更昂貴。但我們實際上可以訓練模擬器，這些模擬器獲取相機數據并模擬激光雷達輸出的樣子。這可能是節省成本的一種方式。

即使只是視頻，在您進行實時駕駛時，也會有一些情況非常罕見或幾乎不可能獲得，或者太危險而無法獲得。因此，我們可以使用生成式 AI 來創建非常非常高質量的視頻數據，并且在這些情況下與真實數據基本上沒有區別。這也是節省數據收集成本的一種方式。

您如何創建這些不尋常的邊緣情況？你說..「現在把一只袋鼠放在路上，現在把一只斑馬放在路上”嗎？

沃羅寧斯基： 有一種方法可以查詢這些模型，讓它們產生異常情況 — 這實際上只是整合控制仿真模型的方法。這可以通過文本或提示圖像或各種類型的幾何輸入來完成。這些場景可以明確指定：如果汽車制造商已經有一份他們知道可能發生的情況的清單，他們可以查詢這些基礎模型來生成這些情況。您還可以做一些更具可擴展性的作，其中有一些探索過程或模擬中發生的情況隨機化，這可用于針對各種情況測試您的自動駕駛堆棧。

視頻數據的一個好處是，它絕對仍然是自動駕駛的主要模式，您可以使用不僅僅是來自駕駛的視頻數據進行訓練。因此，當涉及到那些稀有的天體類別時，您實際上可以在許多不同的數據集中找到它們。

那么，如果你有一個動物園里動物的視頻數據集，它能幫助駕駛系統識別路上的袋鼠嗎？

沃羅寧斯基： 當然，這種數據可以用來訓練感知系統來理解這些不同的對象類別。它還可用于模擬傳感器數據，將這些對象整合到駕駛場景中。我的意思是，同樣，很少有人在現實生活中見過路上的袋鼠。甚至可能在視頻中。但這很容易在你的腦海中浮現，對吧？如果你真的看到了它，你就能很快理解它。生成式 AI 的優點在于，如果 [模型] 在不同場景中接觸到不同的概念，它可以在新穎的情況下將這些概念組合在一起。它可以在其他情況下觀察它，然后將這種理解帶到駕駛中。

您如何對合成數據進行質量控制？您如何向客戶保證它與真品一樣好？

沃羅寧斯基：您可以捕獲一些指標，以數字方式評估真實數據與合成數據的相似性。一個例子是你獲取一個真實數據的集合，然后你獲取一個旨在模擬它的合成數據的集合。你可以對兩者進行概率分布擬合。然后，您可以用數字方式比較這些概率分布之間的距離。

其次，我們可以驗證合成數據對于解決某些問題有用。你可以說，“我們要解決這個極端情況。您只能使用模擬數據。您可以驗證使用模擬數據是否確實解決了問題，并提高此任務的準確性，而無需對真實數據進行訓練。

是否有反對者說合成數據永遠不夠好，無法訓練這些系統并教給它們他們需要知道的一切？

沃羅寧斯基： 反對者通常不是 AI 專家。如果你尋找冰球的去向，很明顯，仿真將對自動駕駛系統的開發產生巨大影響。此外，一個移動的目標就足夠好了，就像 AI 或 AGI [通用人工智能] 的定義一樣。做了一些發展，然后人們習慣了它們，“哦，這已經沒意思了。一切都是為了接下來的事情。但我認為很明顯，基于 AI 的模擬將繼續改進。如果你明確希望 AI 系統對某事進行建模，那么此時沒有瓶頸。然后，這只是一個問題，即它的推廣程度如何。