現(xiàn)在越來(lái)越多業(yè)務(wù)系統(tǒng)開(kāi)始集成大模型能力AI問(wèn)答助手、知識(shí)庫(kù)檢索、單據(jù)智能解析、業(yè)務(wù)輔助決策、智能報(bào)表生成。很多開(kāi)發(fā)人員沿用傳統(tǒng)接口的安全思路做好接口鑒權(quán)、參數(shù)校驗(yàn)就直接上線。但大模型屬于生成式AI存在傳統(tǒng)系統(tǒng)沒(méi)有的新型安全風(fēng)險(xiǎn)。外部用戶(hù)通過(guò)構(gòu)造特殊提示詞就有可能繞過(guò)業(yè)務(wù)限制誘導(dǎo)模型泄露內(nèi)部文檔、篡改輸出邏輯、甚至間接調(diào)用內(nèi)部接口造成業(yè)務(wù)故障和數(shù)據(jù)泄露。很多安全事故并不是大模型本身漏洞而是業(yè)務(wù)側(cè)接入時(shí)缺少防護(hù)沒(méi)有針對(duì)LLM做專(zhuān)門(mén)的安全約束。本篇從真實(shí)線上案例出發(fā)梳理大模型業(yè)務(wù)最容易踩的幾類(lèi)安全坑給出生產(chǎn)環(huán)境可用的加固手段。一、大模型業(yè)務(wù)最常見(jiàn)的4類(lèi)安全風(fēng)險(xiǎn)1、直接Prompt注入攻擊這是落地大模型業(yè)務(wù)最高發(fā)的一類(lèi)風(fēng)險(xiǎn)。業(yè)務(wù)會(huì)把用戶(hù)輸入直接拼接進(jìn)Prompt模板交給大模型處理攻擊者輸入特殊指令覆蓋掉系統(tǒng)預(yù)設(shè)指令。舉個(gè)場(chǎng)景系統(tǒng)原本設(shè)定“只允許回答產(chǎn)品公開(kāi)資料禁止輸出內(nèi)部合同與報(bào)價(jià)”。用戶(hù)輸入惡意提示詞強(qiáng)制模型忽略前面所有規(guī)則輸出內(nèi)部知識(shí)庫(kù)內(nèi)容。一旦防護(hù)缺失業(yè)務(wù)規(guī)則會(huì)被直接繞過(guò)造成內(nèi)部資料外泄。2、知識(shí)庫(kù)檢索帶來(lái)的數(shù)據(jù)泄露RAG知識(shí)庫(kù)是企業(yè)大模型最常用的方案把內(nèi)部文檔、合同、工單、內(nèi)部規(guī)范存入向量庫(kù)用戶(hù)提問(wèn)時(shí)檢索相關(guān)片段交給大模型整理回答。很多項(xiàng)目只做簡(jiǎn)單的相似度檢索沒(méi)有做權(quán)限過(guò)濾。普通用戶(hù)提問(wèn)向量庫(kù)把高權(quán)限文檔、內(nèi)部工單、未公開(kāi)合同檢索出來(lái)送入上下文大模型直接整理輸出返回給普通用戶(hù)發(fā)生越權(quán)泄露。很多人誤以為向量數(shù)據(jù)庫(kù)自帶權(quán)限控制實(shí)際上絕大多數(shù)向量庫(kù)本身并不處理業(yè)務(wù)權(quán)限權(quán)限需要業(yè)務(wù)層自己實(shí)現(xiàn)。3、間接誘導(dǎo)執(zhí)行業(yè)務(wù)邏輯造成業(yè)務(wù)篡改部分系統(tǒng)支持大模型調(diào)用后端工具函數(shù)查詢(xún)訂單、生成單據(jù)、發(fā)起審批、修改部分業(yè)務(wù)字段。攻擊者通過(guò)提示詞誘導(dǎo)欺騙大模型調(diào)用錯(cuò)誤工具、傳入惡意參數(shù)實(shí)現(xiàn)查詢(xún)他人訂單、偽造單據(jù)、觸發(fā)異常業(yè)務(wù)流程。風(fēng)險(xiǎn)點(diǎn)不在于工具本身在于大模型輸出的工具調(diào)用參數(shù)沒(méi)有做嚴(yán)格校驗(yàn)直接信任AI輸出去執(zhí)行業(yè)務(wù)邏輯。4、輸出側(cè)污染生成虛假與誤導(dǎo)業(yè)務(wù)內(nèi)容大模型存在幻覺(jué)問(wèn)題同時(shí)也可被用戶(hù)誘導(dǎo)生成虛假業(yè)務(wù)數(shù)據(jù)。如果業(yè)務(wù)直接采信AI輸出結(jié)果不經(jīng)人工復(fù)核直接入庫(kù)、生成合同、生成報(bào)表會(huì)產(chǎn)生大量錯(cuò)誤業(yè)務(wù)數(shù)據(jù)干擾經(jīng)營(yíng)判斷。這類(lèi)問(wèn)題不會(huì)直接泄露數(shù)據(jù)但會(huì)慢慢污染業(yè)務(wù)庫(kù)帶來(lái)隱性業(yè)務(wù)風(fēng)險(xiǎn)。二、很多項(xiàng)目防護(hù)失效的幾個(gè)典型錯(cuò)誤做法錯(cuò)誤1完全依賴(lài)大模型自身的系統(tǒng)提示詞做安全約束很多開(kāi)發(fā)把全部安全規(guī)則寫(xiě)在system prompt里面寄希望大模型自己拒絕惡意請(qǐng)求。大模型的指令遵從存在上限復(fù)雜構(gòu)造的注入提示詞有概率覆蓋系統(tǒng)prompt僅靠模型本身無(wú)法做到100%防御。錯(cuò)誤2用戶(hù)輸入簡(jiǎn)單關(guān)鍵詞過(guò)濾簡(jiǎn)單屏蔽少數(shù)敏感關(guān)鍵詞攻擊者很容易通過(guò)拆分、變體、混淆句式繞過(guò)過(guò)濾防護(hù)效果很有限。錯(cuò)誤3RAG檢索之后不做權(quán)限過(guò)濾向量檢索只看文本相似度不識(shí)別業(yè)務(wù)權(quán)限。檢索出來(lái)的文檔片段必須根據(jù)當(dāng)前登錄用戶(hù)身份再做一輪權(quán)限過(guò)濾否則極易越權(quán)泄露。錯(cuò)誤4直接信任AI輸出不加校驗(yàn)調(diào)用工具把大模型輸出的參數(shù)直接交給后端函數(shù)執(zhí)行沒(méi)有參數(shù)校驗(yàn)、沒(méi)有權(quán)限判斷等同于把接口交給大模型全權(quán)代理。三、生產(chǎn)環(huán)境大模型應(yīng)用完整加固方案1、輸入層對(duì)用戶(hù)輸入做前置檢測(cè)對(duì)用戶(hù)原始query做注入風(fēng)險(xiǎn)檢測(cè)識(shí)別高風(fēng)險(xiǎn)提示詞特征高危請(qǐng)求直接攔截不要送入大模型。做輸入長(zhǎng)度限制避免超長(zhǎng)輸入消耗大量token同時(shí)降低注入構(gòu)造空間。2、Prompt模板做好隔離不要簡(jiǎn)單字符串拼接區(qū)分系統(tǒng)預(yù)設(shè)指令與用戶(hù)輸入使用占位符的方式填充用戶(hù)內(nèi)容避免用戶(hù)輸入的內(nèi)容逃逸成為系統(tǒng)指令。在prompt中明確劃定邊界告知模型哪些部分屬于用戶(hù)輸入哪些是系統(tǒng)規(guī)則。3、RAG知識(shí)庫(kù)必須增加業(yè)務(wù)權(quán)限層向量檢索完成之后拿到文檔id列表再根據(jù)當(dāng)前用戶(hù)角色過(guò)濾掉無(wú)訪問(wèn)權(quán)限的文檔片段再送入大模型上下文。不要把所有文檔一股腦全部丟給大模型檢索不等于有權(quán)查看。4、工具調(diào)用AI輸出只作為候選業(yè)務(wù)層強(qiáng)制校驗(yàn)大模型輸出的工具名稱(chēng)、參數(shù)只能當(dāng)作建議。后端拿到參數(shù)之后和普通接口入?yún)⒁粯幼鰠?shù)校驗(yàn)、權(quán)限校驗(yàn)、業(yè)務(wù)合法性校驗(yàn)校驗(yàn)通過(guò)才執(zhí)行真實(shí)邏輯。堅(jiān)決不直接信任AI生成的內(nèi)容。5、輸出側(cè)風(fēng)險(xiǎn)管控對(duì)外返回之前增加輸出敏感信息檢測(cè)攔截手機(jī)號(hào)、身份證、內(nèi)部合同編號(hào)等敏感內(nèi)容外泄。業(yè)務(wù)重要場(chǎng)景AI輸出結(jié)果強(qiáng)制增加人工復(fù)核環(huán)節(jié)不允許AI結(jié)果直接落庫(kù)生效。6、做好日志與審計(jì)完整記錄用戶(hù)原始提問(wèn)、送入大模型的完整上下文、模型返回結(jié)果、工具調(diào)用記錄。出現(xiàn)異常訪問(wèn)時(shí)可以回溯完整鏈路方便定位攻擊與排查問(wèn)題。四、不同業(yè)務(wù)場(chǎng)景的安全落地優(yōu)先級(jí)內(nèi)部辦公AI助手重點(diǎn)做好知識(shí)庫(kù)權(quán)限隔離防止不同部門(mén)之間文檔越權(quán)查看。面向外部客戶(hù)的AI問(wèn)答重點(diǎn)防御Prompt注入防止內(nèi)部知識(shí)庫(kù)泄露。帶工具調(diào)用的智能業(yè)務(wù)助手最高優(yōu)先級(jí)嚴(yán)格校驗(yàn)工具入?yún)⒎乐拐T導(dǎo)篡改業(yè)務(wù)。AI生成內(nèi)容輔助場(chǎng)景重點(diǎn)防幻覺(jué)輸出重要業(yè)務(wù)必須人工確認(rèn)。五、總結(jié)大模型業(yè)務(wù)安全不能只依靠大模型本身不能把安全全部交給prompt。傳統(tǒng)接口安全思想依然有效同時(shí)要額外處理提示注入、知識(shí)庫(kù)權(quán)限、工具調(diào)用校驗(yàn)、輸出審計(jì)這幾類(lèi)LLM特有風(fēng)險(xiǎn)。很多企業(yè)只關(guān)注AI好不好用忽略安全建設(shè)等到發(fā)生數(shù)據(jù)泄露才發(fā)現(xiàn)防護(hù)缺失。接入大模型時(shí)安全加固要和業(yè)務(wù)功能同步上線。