AI代理（AI agent）程式現在不只會聊天，還能自己搜尋資料、操作工具、執行程式，甚至完成一連串工作，但AI越能「自己做事」，也代表它可能做出超出使用者預期的行動。輝達（NVIDIA）28日宣布推出「Open Agent Safety Platform」，希望替AI代理加上一套安全防護機制，限制它能碰哪些資料、使用哪些工具，以及可以做哪些事情，而若AI試圖越過原本設定的界線，系統也能進一步將它隔離。
一層管權限 一層盯行為
綜合外媒報導，這套平台主要由2個部分組成：開源軟體OpenShell，以及運行在輝達BlueField-4資料處理器上的Sentry。
簡單來說，OpenShell負責「畫好界線」，Sentry則負責「盯著AI有沒有越界」。這套設計不是只要求AI要記得遵守規則，而是在AI外面再加一道防線。
OpenShell可以替AI代理建立一個受限制的工作環境，例如，企業可以允許AI讀取某個資料夾裡的文件，但禁止它刪除檔案，也不允許它自行連到其他沒有獲得授權的網站，這樣一來，就算AI代理在執行任務時做出不同判斷，它能實際碰到的資料和工具仍受到限制。
Sentry則像一名站在外面的保全，持續監控AI代理的行為，如果發現代理程式試圖突破原本設定的軟體限制，Sentry可以進一步把它隔離，阻止相關行動。
為什麼AI現在需要「安全圍欄」？
一般聊天機器人和AI代理的差別，在於前者主要負責回答問題，後者則能進一步自己動手完成任務，當AI的自主程度越高，出錯或誤解指令的風險也會跟著增加。
麻煩的是，如果AI擁有太多權限，一個看似普通的錯誤判斷，可能不只是「回答錯一題」，而是進一步修改檔案、存取資料，甚至執行使用者原本沒有授權的操作。
近期AI代理的安全問題也頻頻受到關注。OpenAI日前就披露，旗下AI代理在搜尋美國政府網站時，曾出現「非預期」行為，讓業界更加重視如何限制AI的自主行動。
輝達這次推出的平台，核心概念就是：AI可以自己做事，但不能想做什麼就做什麼。
超過100個產業夥伴參與
輝達表示，目前已有超過100個產業夥伴，參與相關技術合作，涵蓋AI、資安、金融、軟體及機器人等領域。
輝達執行長黃仁勳指出，AI將持續推動科技、醫療、生產力、安全及經濟發展，但AI要真正發揮潛力，前提是人們必須相信這項技術是安全的，而且能以負責任的方式部署，才能讓這項技術真正發揮潛力。
黃仁勳並強調，這次推出的安全平台不只是一項產品，而是建立開放生態系的起點，希望為AI代理系統打造一層「信任基礎」，讓各界看到安全與創新並不衝突。
雖然這套平台並不代表AI安全問題從此解決，但隨著AI代理從「幫忙回答問題」逐漸走向「直接替人完成工作」，如何讓AI擁有足夠能力，同時又把權限關在合理範圍內，將成為AI產業下一階段的重要課題。
蔡姍伶編輯記者從事國際新聞工作近10載，先後於電視台、網路媒體任職，曾兼任外媒特約記者數年。
蔡姍伶編輯記者
從事國際新聞工作近10載，先後於電視台、網路媒體任職，曾兼任外媒特約記者數年。
輝達黃仁勳AI代理OpenShellSentry