a一级爱做片免费观看欧美,久久国产一区二区,日本一二三区免费,久草视频手机在线观看

新聞中心

EEPW首頁 > 智能計算 > 市場分析 > 利用模型護欄規范GenAI的行為和輸出

利用模型護欄規范GenAI的行為和輸出

作者:Gartner研究總監 閆斌 時間:2024-08-27 來源:EEPW 收藏

當前,許多企業機構都在全力推進生成式人工智能()解決方案的設計和實施,希望提升解決方案的通用性和創造性,進而推動業務價值。2023年Gartner企業人工智能(AI)調研揭示了用例的三種最主要的實現方法,74%的受訪者通過對現有模型進行定制化調整來滿足自身用例的需求,65%的受訪者嘗試自行訓練定制GenAI模型。

本文引用地址:http://www.j9360.com/article/202408/462391.htm

然而,實施GenAI絕非易事。對于創造性和通用性的追求,往往會增加GenAI解決方案的復雜性、不確定性和生成非預期結果的可能性,而這也成為了GenAI企業采用面臨的主要問題。GenAI解決方案的創造性和通用性越強,出現非預期行為和輸出(如幻覺、有害內容超出應用范圍的內容等)的可能性越高(見圖1)。

1724751580133034.png

圖1 在創造性與通用性之間取得平衡

選擇基于GenAI模型自行構建GenAI解決方案的企業機構,其負責AI工作的數據和分析(D&A)領導者應利用開源護欄、商業護欄和自建護欄這三種護欄工具來控制GenAI模型的輸入和輸出,驗證并矯正GenAI模型的輸入和輸出,提高模型的可靠性。

評估并優化GenAI解決方案的創造性和通用性

GenAI模型可兼具創造性和通用性。企業機構通常需要在廣泛的場景中使用GenAI解決方案,而這些場景對于解決方案創造性和通用性的需求各不相同。因此,必須根據部署目的和具體場景下的功能需求,確定GenAI解決方案的定位,并根據在創造性和通用性兩個方面的具體需求,利用護欄工具建立控制策略和機制。

負責AI工作的D&A領導者應基于GenAI解決方案的使用場景和方式,確定相應的業務風險容忍度,具體取決于:

●   業務用例的重要性

●   用于內部用途還是面向客戶

●   是否引入了人工監督

而后,應根據業務風險容忍度,利用護欄工具管理模型輸入和輸出,建立嚴格或寬松的控制機制,并最終在創造性和通用性之間取得最佳平衡。

利用驗證和矯正模型的輸入和輸出

使用護欄工具,是管理GenAI模型創造性和通用性的一個切實可行的方法。護欄(在GenAI模型和應用與最終用戶之間建立防護層)可以監控和管理模型的全部流量,包括用戶輸入和模型/應用輸出(見圖2)。

1724751603108588.png

圖2 護欄部署在用戶與GenAI模型之間

以下是兩種典型護欄:

●   用于控制最終用戶輸入的:所有用戶請求都必須經護欄過濾,以清除非預期的請求,包括超出GenAI解決方案應用范圍的請求和違反可接受使用政策的請求。通過這種方式,護欄可以將解決方案的通用性控制在可管理的范圍內,就像建立了一個安全圍欄。

●   用于控制GenAI輸出的:所有模型輸出都必須經過護欄的驗證,但不同的用例對于模型創造性的需求存在差異,因而需要對模型施加不同程度的控制。但是,對于開發GenAI驅動的企業級搜索引擎或面向客戶的聊天機器人的情況,必須對模型輸出進行更為嚴格的驗證和控制,以調節模型的創造性,并確保最終用戶可以得到可靠且符合預期的結果。

需要注意的是,護欄并非“靈丹妙藥”,不能完全解決GenAI解決方案的行為和準確性問題。GenAI解決方案必須在準確性與企業機構的風險承受能力之間取得平衡。

此外,伴隨GenAI的快速發展,護欄技術也在不斷變化和改進。鑒于神經網絡的不可預測性,護欄技術目前是驗證和矯正GenAI模型輸出的一種切實可行的方法。長期來看,在基礎GenAI模型變得足夠可靠和可信之前,護欄提供了一種過渡解決方案,可以幫助企業機構推動GenAI采用。



關鍵詞: 模型護欄 GenAI

評論


技術專區

關閉