【日本週刊 BCN 報導】生成式 AI 的防禦之盾:奧義智慧兩大資安解決方案

※本文譯自日本《週刊 BCN》報導:〈生成AI時代の重大脅威の「盾」となる二つのセキュリティーソリューション〉。完整原文請參考:《週刊BCN+》2025年11月24日

以提示詞注入攻擊 (Prompt Injection) 為首的生成式 AI 資安威脅,正引發各界高度關注。奧義智慧 (CyCraft) 是台灣資安公司,以 AI 技術作為其強項,已針對此類重大威脅開發出「防禦之盾」。本次我們採訪了奧義智慧日本子公司 CyCraft Japan 區域總經理姜尚郁 (Sangwook Kang),了解新產品「XecGuard」與「XecART」,如何在利用生成式 AI 便利性之餘,防範生成式 AI 的惡意使用。

以惡意提示詞劫持生成式 AI:提示詞注入的威脅

生成式 AI 為企業和人們帶來創造力和生產力的同時,與之相關的風險也正備受關注。其中,除了有會生成錯誤資訊的 AI 幻覺 (Hallucination) 外,生成式 AI 的資安威脅更是日益嚴重。例如透過惡意提示詞生成錯誤資訊、不正當操縱系統的提示詞注入攻擊 (Prompt Injection),以及規避開發者預設倫理規範或安全對策、輸出不應公開資訊的越獄攻擊 (Jailbreak) 等。這些攻擊手法都是透過巧妙的互動,不正當地操縱生成式 AI。

2025 年,定期梳理網路應用程式漏洞的 OWASP (Open Worldwide Application Security Project) 公布了十大生成式 AI 相關安全風險,提示詞注入高居第一。

然而,要開發應對此類威脅的解決方案卻相當困難。經由生成式 AI 或 LLM 輸出的內容就如同黑盒子,即使是相同的提問,也會因時機和狀況不同而生成不同的回答,難以控制。因此,在輸入、輸出後都需要持續驗證,才能確保解決方案真實有效。

隨侍在 AI 應用程式旁 緊盯可疑的提示詞

姜總經理認為:「在活用生成式 AI 的同時,也必須提升其安全性。」關鍵在於如何在不失去 AI 性能的前提下提高安全性。他提到:「為了保護 AI 而過度限制,會損害 AI 的創造力和對話能力;反之過度自由則可能增加風險。這個平衡非常重要。」正是在這樣的理念下,誕生了 XecGuard 和 XecART。

XecGuard 如同能幹的公關經理,阻擋惡意的提問 (Prompt)

XecGuard 是一個可直接導入的護欄型 (Guardrail) 安全模組。它被部署於既有的 AI 應用程式旁,不僅能檢測有害的文案內容,還能結合語境指令遵循能力,理解個別應用程式的規則,並識別試圖違反或規避規則的上下文內容。

AI 應用程式接收到提示詞 (Prompt) 時,會先經由 XecGuard 進行判斷。若有可疑的提示詞輸入或偏離護欄的請求,則會予以阻擋。XecGuard 支援 OpenAI 和 Gemini 等大型語言模型,且無需對 AI 應用程式本身進行任何修改。

此外,XecGuard 的反應速度以毫秒 (Millisecond) 為單位,因此不會對 AI 應用程式的性能造成影響。就如同記者會上藝人的公關經理,當使用者輸入惡意的誘導式提問時,XecGuard 能立即中斷對話,保護 AI 應用程式。

從攻擊者視角評估 AI 系統安全性 協助合規國際標準

XecART 是針對生成式 AI 系統的安全評估服務。它的開發源於金融和公共領域客戶的需求,他們希望「從第三方視角驗證 AI 系統」以及「作為內控的一環,定期確認安全性」。XecART 的定位是傳統滲透測試和紅隊演練的生成式 AI 版本,特別用來評估針對提示詞注入的防禦能力。

XecART 不僅可診斷外部攻擊的耐受度,還能綜合診斷身份驗證的穩固性、異常情況下的應對能力,進而提升系統整體的防禦能力。它根據 OWASP、ISO、NIST 以及各國監管機構的規範,製作 AI 系統安全相關的合規稽核報告,協助企業符合國際標準。

在實際執行上,XecART 通常會預先收集 AI 聊天機器人的 API 和連接方式等資訊,執行測試、提供報告和改善建議,約需 2 至 4 週的日程。實際測試中,會根據 AI 的特性和用途動態調整測試情境。

姜總經理解釋:「XecART 將安全漏洞可視化與量化,XecGuard 則可迅速設置、調整 AI 運作時的保護措施。」關於未來的發展,他表示:「CyCraft Japan 協助實現安全的 AI 社會,希望與有著相同志向的合作夥伴一起,共創符合 AI 時代的防禦模型,提升企業整體的資安韌性。」

相關文章
  1. 從聊天機器人到代理人工智慧:資安攻擊新藍海
  2. 當 AI 客服「歪樓」:從 Prompt Injection 淺談語言模型的資安風險
  3. AI 安全標準配備時代來臨!APMIC 聯手奧義智慧科技 CyCraft 推出安全升級模組 XecGuard
  4. A First Look: An Initial LLM Safety Analysis of Apple's On-Device Foundation Model

關於 CyCraft

奧義智慧 (CyCraft) 是亞洲領先的 AI 資安科技公司,專注於 AI 自動化威脅曝險管理。其 XCockpit AI 平台整合 XASM (Extended Attack Surface Management) 三大防禦構面:外部曝險預警管理、信任提權最佳化監控,與端點自動化聯防,提供超前、事前、即時的縱深防禦。憑藉其在政府、金融、半導體高科技產業的深厚實績與 Gartner 等機構的高度認可,奧義智慧持續打造亞洲最先進的 AI 資安戰情中心,捍衛企業數位韌性。

訂閱奧義智慧電子報

Thank you! Your submission has been received!
Oops! Something went wrong while submitting the form.
點擊此按鈕,即表示您同意奧義智慧的隱私權政策,並同意奧義智慧使用您所提供的資訊並寄送資訊給您。您隨時可以取消訂閱。

近期消息