專訪螞蟻集團大模型數據安全總監楊小芳：AI安全與創新發展不是對立的，而是互相成就

每經記者｜張祎    每經編輯｜陳星    

隨著生成式AI（人工智能）技術飛速發展，AI在數據分析、智能交互、效率提升等多個領域展現出巨大的應用潛力，為解決復雜問題提供了新思路和新方法。但與此同時，這些技術所引發的安全性問題也變得愈發突出。

近一段時間以來，AI換臉成為詐騙新手段、美國人工智能公司OpenAI旗下大模型o3“不聽人類指令，拒絕自動關閉”等相關新聞相繼沖上熱搜，引起社會高度關注。這些事件不僅凸顯了AI技術可能帶來的風險，也引發人們對技術濫用、倫理道德、隱私保護以及安全風險的廣泛討論。

AI技術安全性究竟存在哪些隱患？目前主要的防護策略是什么？企業應怎樣應對大模型數據安全領域風險？行業標準又能發揮怎樣的作用？帶著一系列問題，《每日經濟新聞》記者（以下簡稱NBD）電話專訪了大模型安全行業專家、螞蟻集團大模型數據安全總監楊小芳。

作為在人工智能安全領域深耕多年的專家，楊小芳深入闡釋了當前AI技術的安全現狀以及未來發展方向。她指出，隨著AI技術逐步應用，數據隱私、安全攻擊門檻降低、生成式內容濫用、AI內生安全不足等風險正逐漸從理論走向實際。對于正在引入和使用AI技術的企業，建議做好遠期部署準備，加速內部安全制度、流程、檢測及防御技術的建設和發展。

談及技術創新與風險防范該如何平衡，楊小芳強調，AI安全與創新發展并非對立，而是互相成就。她介紹，面對AI安全的風險和挑戰，螞蟻集團正高度關注AI的安全可信。“就像騎馬需要抓牢韁繩，我們用可信AI這一‘韁繩’，來提升駕馭大模型這匹‘馬’的能力，用AI來守護AI。”

大模型安全行業專家、螞蟻集團大模型數據安全總監楊小芳 受訪者供圖

AI內生安全不足的挑戰長期存在

NBD：目前，我國乃至全球AI安全面臨著哪些共同挑戰？

楊小芳：AI大模型剛出現時，大家更多關注的是模型生成內容的風險，但隨著AI技術的逐步應用，風險也逐漸從理論走向實際，需要我們從多個角度進行關注和審視。

第一是數據隱私風險。比如，訓練數據透明度不足，可能會引發版權問題，這個問題亟待解決。另外，隨著大模型被賦予調用各種線上服務的能力，AI Agent（智能體）應運而生，但可能會越權訪問用戶數據。比如原本用戶只能訪問本人的基本信息或賬單，但由于服務權限配置不當或安全性不足，可能會使得惡意用戶可以訪問其他人的賬單等敏感信息。

第二是安全攻擊門檻降低的問題。過去，黑客攻擊被視為一種技術密集型的安全技術，但大模型的發展帶來了“智力平權化”，人們可以通過自然語言指揮大模型執行攻擊指令。加上AI技術快速商業化和安全投入滯后的矛盾，進一步加大了AI安全攻防對抗的難度。

第三是生成式人工智能（AIGC）濫用的社會影響。現在大家常從媒體上看到深度偽造、假新聞以及利用AI制造網絡攻擊工具等信息。這些行為可能導致詐騙、網絡攻擊甚至擾亂社會輿論，這些都是AI濫用所帶來的風險。

第四是AI內生安全不足帶來的行業挑戰。AI內生安全不足是一個長期存在的挑戰，不僅影響AI技術的可靠性和可信度，還可能對相關行業的穩定和發展造成長期的負面影響。我們已經看到許多案例，AI可能會捏造事實或者提供錯誤信息，隨著AI在醫療、金融、科研等特定領域的廣泛應用，這種“AI幻覺”可能會導致決策誤導、信任受損等問題。此外，AI可解釋性不足也可能引發決策偏見和失控等問題。

NBD：針對大模型可能引發的數據泄露風險，目前主要的防護策略是什么？

楊小芳：無論是在AI還是非AI領域，防范數據泄露風險的核心策略是全生命周期的數據保護，貫穿從采集、傳輸、存儲、使用到銷毀的全過程。在AI領域，這一概念具體映射到模型的引入、訓練、微調以及智能體的開發、發布和運行等環節。

比如，在引入訓練數據時，需對數據進行掃描，去除其中的敏感信息，并對數據來源進行標識，以便于后續溯源；引入開源模型時，必須進行供應鏈漏洞檢測，以避免模型中存在后門，防止因模型漏洞導致遠程操控或數據泄露。

在智能體發布前，需進行全面的安全攻擊測試，避免用戶信息被竊取；智能體運行過程中，也需要持續進行風險監測與對抗，及時發現并阻斷數據泄露和攻擊行為。

NBD：從現有的防護策略或手段看，是否還存在未被充分解決的盲區或挑戰？

楊小芳：要說盲區和挑戰，主要在于供應鏈和生態風險，以及多智能體協作風險。

AI供應鏈包括算力、模型、數據、MCP（模型上下文協議）服務等，涉及很多參與者，而且現在開源組件用得特別多，這就增加了安全漏洞或鉆空子的可能性。

另外，與傳統的軟件開發相比，智能體開發具有“低代碼”、快速發布的特點。例如，通過螞蟻集團推出的支付寶百寶箱，普通用戶只需要簡單拖拽和配置，最快可以在1分鐘內完成一個智能體的創建和部署，所以現在新智能體的增長速度是非常驚人的。但同時，智能體開發及運營的生態成熟度還不足，治理較為滯后，使得安全風險變大。比如，如果有惡意智能體誘導用戶去訪問釣魚網站，治理又處于真空期，那么用戶的敏感信息很可能被偷走。

隨著多智能體系統的廣泛應用，多智能體協作也是現在發展的一個重點。不同公司開發的智能體各自運行不同的策略，跨智能體協作時需要共享意圖數據、分派任務。當前智能體大多為各自獨立開發，這帶來了新的問題：如何確保智能體的可信性？如果缺乏可信認證機制，惡意智能體可能會通過偽造身份加入協作鏈，導致用戶需求被篡改或個人信息被竊取。

NBD：在構建和維護整個生態系統或協作過程中，治理主體的角色和責任如何界定？是否有相應的責任分配和約束機制來確保治理的有效性和公平性？

楊小芳：在允許多方甚至C端（個人用戶端）用戶開發智能體的平臺環境中，平臺方無疑是能夠實施一線管控和治理的關鍵主體。

平臺方提供了大模型服務、插件工具等基礎架構，使得普通用戶能夠基于其平臺構建智能體。因此，平臺方具備充分的權限對在其平臺上開發的智能體進行掃描和治理。可以說，平臺方是能夠開展諸多治理工作的首要主體。

但是，平臺方只能管控在自身平臺上開發的智能體，而在實際應用中，還存在大量跨平臺的服務，所以治理工作也不能僅依賴于平臺方的自律，還需要政府或監管層面的介入，需要國家層面的標準以及監管政策來監控、監督和約束平臺發展。這與小程序的監管類似，盡管各家企業都有自己的小程序平臺，但監管方仍會制定標準和監管指令，以更好地約束和治理小程序生態。

AI風險控制不應“一刀切”

NBD：在大模型數據安全領域，當前最需要關注的風險點是什么？企業和行業應該如何未雨綢繆？

楊小芳：我覺得，當前需要關注的風險主要有三點：

一是多樣化的AI服務安全“水位”不一致。比如，大量傳統業務服務包裝為大模型可調用的工具后，原服務的安全加固可能失效，這個需要特別關注。

二是企業內數據流轉控制經受挑戰。比如，原內部知識庫的權限管控在掛載到智能體后可能失效，導致原來只能特定部門訪問的文檔庫變成對所有人可見。

三是新型大模型安全攻擊。比如，利用大模型指令遵從特性，針對AI服務開展新型安全攻擊、竊取用戶數據或造成服務不可用。

對于一般企業來說，做好安全工作，可能并不是買一個安全產品，安裝后立馬“包治百病”，而是需要有一個“戰線”相對較遠期的部署，否則很容易就會失效。因此，在快速引入和使用AI技術的同時，企業應加速內部安全制度、流程、檢測和防御技術的建設與發展。在安全建設尚未完善的初期，應當加強模型及數據引入的安全審查，并落實AI服務對外開放前的安全測試，以盡可能避免外部攻擊或供應鏈風險帶來的直接影響。

NBD：在保護用戶隱私的同時，如何確保AI服務的高效性和用戶體驗？

楊小芳：我覺得這主要涉及兩個方面。

第一個方面是風險控制，無論用戶體驗或效率如何，守住底線一定是基礎。這其中又包括兩個關鍵步驟，一是精準定位問題，二是采取有效的管控手段。在定位問題上，我們應追求更精細化的策略，采用更靈活、更柔性的方式，結合用戶提問意圖來定性風險。另外，管控手段也應更豐富，采用更先進的隱私保護技術，而不是簡單地用攔截等“一刀切”的策略。

以用戶隱私保護為例，當模型輸出中包含個人敏感信息時，傳統的風險控制方式可能是直接攔截，但這種做法缺乏精細化。比如，如果用戶主動提供個人信息，目的是為了生成個人簡歷，那么這種信息輸出實際上是用戶的需求，而非風險。更合理的方式是結合用戶提問的意圖，來準確判斷是否構成風險，并選擇不同的處理手段。

第二個方面是如何提升服務的高效性和用戶體驗。在恰當的場景下，我們不一定需要進行嚴格的風險控制，而是可以通過服務引導來滿足用戶需求，讓AI服務回歸服務用戶的目的。

例如，當用戶詢問如何在某地出行、如何訂酒店等問題時，模型可能會根據其訓練數據或檢索結果提供一些信息。這些信息中可能包含一些營銷性質的內容。在這種情況下，與其進行攔截，不如采用更積極的策略，引導用戶使用官方服務入口，這種服務引導策略比簡單的攔截更能滿足用戶需求，提升用戶體驗。

NBD：面對AI帶來的挑戰和風險，螞蟻集團是如何應對的？有哪些可供分享的具體實踐經驗？

楊小芳：針對AI帶來的挑戰，我們一方面加強科技倫理建設，成立了科技倫理委員會，堅持“平等、尊重、可信、負責”的AI發展原則。另一方面，高度關注AI的安全可信，就像騎馬需要抓牢韁繩，我們用可信AI這一“韁繩”，來提升駕馭大模型這匹“馬”的能力，用AI來守護AI，確保大模型這匹“馬”跑得快、跑得好。

基于這樣的理念，螞蟻集團在2023年研發推出了全風險覆蓋、攻防一體的大模型安全解決方案“蟻天鑒”。

“蟻天鑒”包括兩套能力。其中一個是大模型安全檢測平臺，這也是國內第一款實現工業級應用的可信AI檢測平臺，它可以被理解為“大模型的體檢師”，特點是“以攻促防”，實現了以生成式能力檢測生成式系統，好比生成式考官考核生成式運動員，背后是左右互搏的對抗學習。

還有一個是大模型風險防御平臺，可以理解為“大模型的防護欄”，貫穿于大模型訓練應用的全生命周期。在模型訓練部署階段采取內生安全防控，在模型服務階段提供外置護欄，在AIGC內容傳播階段通過AIGC標識和檢測來保障內容在可控范圍內傳播，并保證內容可追溯、可鑒真。

目前，“蟻天鑒”的檢測與防御產品已經開放給了數十家外部機構和企業使用，用來保護通用大模型及醫療、金融、政務等垂直領域行業大模型應用安全。

NBD：在你看來，大模型數據安全應該是一種技術保障，還是一種戰略競爭力？

楊小芳：我覺得兩者兼而有之。即使在過去數字時代，數據安全也一直具備雙重屬性，既是技術保障也是戰略競爭力。

數據是模型開發的核心要素，顯著影響模型輸出的質量。同時，數據是智能體重要價值載體，它讓模型從理解和規劃走向為用戶在真實環境中執行任務。無論是強化企業的數據安全性，還是抵御外部攻擊、防范數據泄露，技術保障的作用毋庸置疑。所以，大模型數據安全首先是一個重要的技術保障，以實現大模型和智能體的安全可信。

同時，從歐盟的《通用數據保護條例》（GDPR）、美國加州的《加州消費者隱私法案》（CCPA）、中國的數據安全法、個人信息保護法等都可看出，數據安全標準的制定和推廣一直是世界各國在數據主權和治理話語權上競爭的重要領域。

去年，新加坡政府發布了《生成式人工智能治理模型框架》，強調了數據在生成式AI中的核心作用，試圖主導區域治理規則。在中國，全國網絡安全標準化技術委員會也發布了《人工智能安全治理框架》1.0版，強調構建全球共識。AI安全治理框架的建立和影響，包括數據安全治理，這些布局就是打造戰略競爭力的一種體現。

行業標準是構建安全生態的基礎框架

NBD：你如何看待AI安全的未來發展趨勢？

楊小芳：如果看AI安全的未來發展，我覺得主要有三種路徑：

一是將安全能力嵌入AI基礎設施，打造“出廠即安全”，在應用環節減少對安全的投入。這樣有個好處，就是可以用更低的成本去提升大模型內生安全，讓大模型自身就能很好地去增強抵御“幻覺”或攻防對抗的能力，從而減少在應用環節的投入。

二是特定安全技術的突破，實現安全技術“拿來即用”，解決中小企業在應用AI技術方面面臨的安全風險。比如，在AIGC生成圖片、生成視頻的時候，嵌入安全可靠的數字水印，就能實現安全溯源。再比如，智能體會用到各種各樣的知識庫，為避免這些知識產權被竊取，未來可能需要重點去突破專業知識庫隱私保護技術，以實現智能體“可用不可見”。

三是AI安全治理，從企業層面到社會層面，都需要開展生成式AI的數據治理。其中需要關注一些核心點，比如提高數據使用的透明度、防范深度偽造以及AI對公眾認知帶來的危害、健全創新激勵與問責機制等。

NBD：在AI安全與創新發展之間，應如何制定動態平衡的決策框架？

楊小芳：AI安全與創新發展不是對立的，而是互相成就。

一方面，安全需要更新對新興技術的認知，基于新技術進行威脅研判并調整安全防御方式和“水位”，進一步利用AI對抗AI，靈活運用創新技術升級AI安全。例如，在最近的RSAC大會（全球網絡安全領域備受關注的年度盛會）上，思科開源了它的安全大模型，這是一個擁有80億個參數的大型語言模型，專門為安全而構建。應用大模型技術是當下各大企業都在緊鑼密鼓開展的工作，包括螞蟻集團在內，AI可以加速防御，幫助安全在復雜的威脅環境中獲得清晰度。

另一方面，安全可信的AI可以促進新興技術更廣泛、快速地應用，從而進一步促進技術的發展，讓公眾更無后顧之憂。比如，特斯拉利用大量真實行駛數據優化安全功能，降低事故概率，而更高的安全性又能帶來更大的用戶群，這是相輔相成的。

NBD：你認為未來在推動AI安全發展過程中，行業標準將發揮怎樣的作用？

楊小芳：在推動AI安全發展的進程中，行業標準不僅是技術實踐的指南，更是構建安全生態的基礎框架，重要性不言而喻。

通過統一技術規范、協調多方利益、引導合規創新，行業標準在防范風險、促進技術落地和提升產業競爭力中可以發揮關鍵作用。此外，制定開源標準，提供測評工具，對于投入有限的中小企業來說，有助于降低它們的門檻，使其以較低的成本快速獲取安全知識并提升自身安全水平，從而提升整個生態的安全“水位”。

實際上，近幾年，隨著大模型AI的興起，螞蟻集團也積極參與了AI治理、安全風險管理等領域的國內外標準制定工作。在AI安全標準方面，我們參與制定的AI治理、安全風險管理、科技倫理等國內及國際相關標準共計80余項，已發布30余項。今年在智能體安全方面也將有新的發布。

我們希望通過這些努力，一方面將在實踐中行之有效的做法推廣到行業內；另一方面，通過輸出我們在安全領域的經驗，促進行業內形成共識，推動在規范框架下的更高效、更有意義的創新。

封面圖片來源：受訪者供圖