央視“3·15”晚會揭露的AI（人工智能）“投毒”黑產(chǎn)，撕開了生成式AI商業(yè)化進程中的灰色地帶。當(dāng)用戶對AI的信任度不斷提升，將其視為獲取客觀信息的重要渠道時，一些GEO（生成式引擎優(yōu)化）服務(wù)商卻通過系統(tǒng)性投喂虛假信息，讓AI淪為商家的“營銷傀儡”。

GEO是一種面向大模型的“內(nèi)容優(yōu)化”策略，本意在于提升品牌信息在AI回答中的呈現(xiàn)概率。但在利益驅(qū)動下，這一技術(shù)被異化為操縱信息分發(fā)的工具——通過批量制造、投放“高一致性內(nèi)容”，影響大模型生成結(jié)果，甚至形成對用戶的誤導(dǎo)。

為何海量虛假信息能夠突破AI的可信度防線？公眾又該如何防范？圍繞這些問題，科技日報記者采訪了有關(guān)專家。

第一問：誰為GEO黑產(chǎn)提供了可乘之機？

“這本質(zhì)上是一場‘AI對AI’的博弈，根源在于大模型的技術(shù)架構(gòu)本身?！敝袊娮有畔a(chǎn)業(yè)發(fā)展研究院（以下簡稱“賽迪研究院”）信息化與軟件產(chǎn)業(yè)研究所副主任黃文鴻對記者表示。

在他看來，當(dāng)前主流大模型本質(zhì)上是“概率語言模型”，是從海量語料中學(xué)習(xí)語言模式與知識關(guān)聯(lián)，而非像數(shù)據(jù)庫那樣存儲大量經(jīng)過驗證的事實。尤其是在面對最新信息時，大模型往往依賴聯(lián)網(wǎng)檢索進行補充，這也為GEO黑產(chǎn)提供了可乘之機。

“攻擊方通過在互聯(lián)網(wǎng)，特別是AI大模型產(chǎn)品內(nèi)設(shè)置的默認(rèn)重點參考或抓取的信源平臺上，批量投放高度一致的虛假內(nèi)容，制造‘虛假共識’?！秉S文鴻說，當(dāng)AI通過檢索抓取實時信息時，這類內(nèi)容更容易被判定為“高權(quán)重信息”而被采納。

更值得警惕的是，借助AI工具，攻擊方可以批量生成“污染內(nèi)容”“虛假內(nèi)容”“有毒內(nèi)容”，成本極低，而防御方進行事實核驗時卻需要逐條比對權(quán)威來源，攻防之間存在顯著的不對稱，僅靠模型自身能力，難以從根本上解決這一問題。

第二問：怎樣形成行業(yè)級“免疫屏障”？

針對這一新型灰產(chǎn)，黃文鴻認(rèn)為，首先要完善法律供給。

當(dāng)前《生成式人工智能服務(wù)管理暫行辦法》已對AI服務(wù)提供者的訓(xùn)練數(shù)據(jù)質(zhì)量責(zé)任作出規(guī)定，但對GEO這類新型灰產(chǎn)的網(wǎng)絡(luò)平臺“投毒”行為，相關(guān)規(guī)制仍存在空白。因此，他建議將“針對AI系統(tǒng)的惡意信息投喂操縱行為”明確納入《反不正當(dāng)競爭法》規(guī)制范疇，打通從GEO服務(wù)商到委托商家的全鏈條追責(zé)路徑。

同時，要壓實平臺主體責(zé)任。AI服務(wù)提供方應(yīng)建立信源數(shù)據(jù)分級可信度評估機制，對檢索來源實施黑白名單管理或者采納權(quán)重升降級機制，從技術(shù)上提升“中毒”門檻；平臺也應(yīng)進行異常流量監(jiān)測，對不規(guī)范或惡意矩陣賬號進行監(jiān)控和治理。

此外，還應(yīng)推動行業(yè)協(xié)同治理。黃文鴻表示，建議由主管部門牽頭，聯(lián)合頭部AI企業(yè)建立檢索源安全共享與聯(lián)防聯(lián)控機制，形成行業(yè)級的“免疫屏障”。

第三問：公眾怎么做才能辨明真假？

“最關(guān)鍵的是要建立‘AI不是百科全書’的認(rèn)知?！秉S文鴻強調(diào)，公眾應(yīng)將AI視為高效的信息整理工具，而非權(quán)威的事實裁判者。

具體來看，對于AI給出的關(guān)鍵信息，用戶應(yīng)養(yǎng)成“交叉驗證”的習(xí)慣，尤其是涉及消費決策、健康醫(yī)療等領(lǐng)域的建議，務(wù)必通過政府官網(wǎng)、權(quán)威媒體、專業(yè)機構(gòu)等多渠道進行核實。同時要警惕“過度一致性”，如果AI的回答對某個品牌或產(chǎn)品呈現(xiàn)高度一致的正面評價，且缺乏客觀對比與風(fēng)險提示，就需要提高警覺。

“用戶還應(yīng)關(guān)注AI平臺的信息溯源能力，優(yōu)先選擇提供來源標(biāo)注和引用鏈接的AI產(chǎn)品?！秉S文鴻說，“歸根結(jié)底，技術(shù)素養(yǎng)的提升，是公眾在AI時代保護自身權(quán)益的基礎(chǔ)。”

（原標(biāo)題為《AI被“投毒”，如何避免上當(dāng)受騙》）