利用模型護欄規范GenAI的行為和輸出
當前,許多企業機構都在全力推進生成式人工智能(GenAI)解決方案的設計和實施,希望提升解決方案的通用性和創造性,進而推動業務價值。2023年Gartner企業人工智能(AI)調研揭示了GenAI用例的三種最主要的實現方法,74%的受訪者通過對現有GenAI模型進行定制化調整來滿足自身用例的需求,65%的受訪者嘗試自行訓練定制GenAI模型。
本文引用地址:http://www.j9360.com/article/202408/462391.htm然而,實施GenAI絕非易事。對于創造性和通用性的追求,往往會增加GenAI解決方案的復雜性、不確定性和生成非預期結果的可能性,而這也成為了GenAI企業采用面臨的主要問題。GenAI解決方案的創造性和通用性越強,出現非預期行為和輸出(如幻覺、有害內容超出應用范圍的內容等)的可能性越高(見圖1)。
圖1 在創造性與通用性之間取得平衡
選擇基于GenAI模型自行構建GenAI解決方案的企業機構,其負責AI工作的數據和分析(D&A)領導者應利用開源護欄、商業護欄和自建護欄這三種護欄工具來控制GenAI模型的輸入和輸出,驗證并矯正GenAI模型的輸入和輸出,提高模型的可靠性。
評估并優化GenAI解決方案的創造性和通用性
GenAI模型可兼具創造性和通用性。企業機構通常需要在廣泛的場景中使用GenAI解決方案,而這些場景對于解決方案創造性和通用性的需求各不相同。因此,必須根據部署目的和具體場景下的功能需求,確定GenAI解決方案的定位,并根據在創造性和通用性兩個方面的具體需求,利用護欄工具建立控制策略和機制。
負責AI工作的D&A領導者應基于GenAI解決方案的使用場景和方式,確定相應的業務風險容忍度,具體取決于:
● 業務用例的重要性
● 用于內部用途還是面向客戶
● 是否引入了人工監督
而后,應根據業務風險容忍度,利用護欄工具管理模型輸入和輸出,建立嚴格或寬松的控制機制,并最終在創造性和通用性之間取得最佳平衡。
利用模型護欄驗證和矯正模型的輸入和輸出
使用護欄工具,是管理GenAI模型創造性和通用性的一個切實可行的方法。護欄(在GenAI模型和應用與最終用戶之間建立防護層)可以監控和管理模型的全部流量,包括用戶輸入和模型/應用輸出(見圖2)。
圖2 護欄部署在用戶與GenAI模型之間
以下是兩種典型護欄:
● 用于控制最終用戶輸入的模型護欄:所有用戶請求都必須經護欄過濾,以清除非預期的請求,包括超出GenAI解決方案應用范圍的請求和違反可接受使用政策的請求。通過這種方式,護欄可以將解決方案的通用性控制在可管理的范圍內,就像建立了一個安全圍欄。
● 用于控制GenAI輸出的模型護欄:所有模型輸出都必須經過護欄的驗證,但不同的用例對于模型創造性的需求存在差異,因而需要對模型施加不同程度的控制。但是,對于開發GenAI驅動的企業級搜索引擎或面向客戶的聊天機器人的情況,必須對模型輸出進行更為嚴格的驗證和控制,以調節模型的創造性,并確保最終用戶可以得到可靠且符合預期的結果。
需要注意的是,護欄并非“靈丹妙藥”,不能完全解決GenAI解決方案的行為和準確性問題。GenAI解決方案必須在準確性與企業機構的風險承受能力之間取得平衡。
此外,伴隨GenAI的快速發展,護欄技術也在不斷變化和改進。鑒于神經網絡的不可預測性,護欄技術目前是驗證和矯正GenAI模型輸出的一種切實可行的方法。長期來看,在基礎GenAI模型變得足夠可靠和可信之前,護欄提供了一種過渡解決方案,可以幫助企業機構推動GenAI采用。
評論