- +1
AI被污染!3·15晚會曝光產(chǎn)業(yè)鏈,你我如何避免上當(dāng)?| 科學(xué)世界·前沿
今年的315晚會,什么最讓你破防?
——是被“如果全世界都指責(zé)你,我就帶你去吃劉x祥”帶火,卻驟然“塌房”的麻辣燙?
——還是生產(chǎn)車間污水橫流,加工工人都坦言“自己不吃”的漂白雞爪?
每一條曝光,都在朋友圈引發(fā)“天塌了”式的刷屏。
但在這些讓人直呼“毀童年”的食品安全問題之外,今年的315晚會還曝光了另外一個值得警惕的問題。
——有人在給AI大模型“投毒”!
——并且已形成完整的產(chǎn)業(yè)鏈!

(圖源:2026年3·15晚會)
AI真的客觀嗎?
今年3·15晚會上,演示了一個讓人后背發(fā)涼的實驗。
業(yè)內(nèi)人士先虛構(gòu)了一款名叫“Apollo-9”的智能手環(huán),然后用一款"GEO優(yōu)化系統(tǒng)"自動生成了十余篇宣傳軟文。

(圖源:2026年3·15晚會)
這套軟文不僅包括給定的產(chǎn)品介紹,AI還“好心”地幫忙生成了消費者評價。

(圖源:2026年3·15晚會)
發(fā)布兩個小時后,業(yè)內(nèi)人士在某款A(yù)I大模型中詢問“Apollo-9智能手環(huán)怎么樣”,這個大模型竟然就可以進行產(chǎn)品介紹,還給打分了!

(圖源:2026年3·15晚會)
發(fā)布數(shù)天后,業(yè)內(nèi)人士在兩款A(yù)I大模型中搜索“智能手環(huán)推薦”,Apollo-9赫然在列,并且排名靠前。

(圖源:2026年3·15晚會)
產(chǎn)品是假的,但AI推薦是真的。
這就是3·15今年曝光的核心問題。
——有這樣一個叫GEO(生成式引擎優(yōu)化,Generative Engine Optimization)的灰色產(chǎn)業(yè),正在系統(tǒng)性地給AI"投毒"。
什么是GEO?先從SEO說起
很多人都知道SEO(Search engine optimization),或者說,都使用過SEO。
當(dāng)你使用搜索引擎的時候,往往只會留意最前面的幾個條目,所以不少網(wǎng)站都希望通過各種方式來影響搜索引擎的排序,吸引更多的人點進來。

GEO同SEO的原理一樣,不過它針對的是生成式AI模型。
GEO通過提升品牌在AI生成答案中的可見性和引用優(yōu)先級,使企業(yè)信息被AI算法識別為“可信來源”,從而在用戶查詢時獲得優(yōu)先推薦。
也就是“讓AI覺得你好”。
這本身并沒有觸犯法律,如果一家企業(yè)使用真實內(nèi)容讓AI了解自己的產(chǎn)品,并將它推廣給受眾,這是正當(dāng)營銷。
但3·15晚會曝光的,是被濫用的黑產(chǎn)版本——用虛假信息對AI進行大批量投喂,讓AI徹底淪為可以花錢購買的廣告位。
“投毒”是如何做到的——RAG檢索
在大模型被制造出來之前,工程師會給它“投喂”海量的互聯(lián)網(wǎng)數(shù)據(jù);而模型在這海量數(shù)據(jù)里學(xué)習(xí)語言規(guī)律和基礎(chǔ)知識,并將這些數(shù)據(jù)永久保存。
但這些數(shù)據(jù)規(guī)模再大,終究也是有限的,起碼不是最新的。于是工程師發(fā)明了RAG技術(shù),即檢索增強生成(Retrieval-Augmented Generation,RAG)技術(shù)。
RAG的核心,是知識庫、檢索器以及大語言模型本身。
正常情況下,用戶提問后,檢索器先從外部知識庫中獲取相關(guān)信息,再將用戶查詢的內(nèi)容同檢索到的相關(guān)知識一起,嵌套進預(yù)設(shè)的提示詞模版中,最終生成答案。

通用檢索增強生成架構(gòu) (圖源:論文《PoisonedRAG: Knowledge Poisoning Attacks to Retrieval-Augmented Generation of Large Language Models》)
這個系統(tǒng)的漏洞在于:檢索器從外部知識庫獲取的信息,默認(rèn)是準(zhǔn)確可用的。
于是,攻擊者可以通過污染檢索器使用的數(shù)據(jù)語料庫來操控系統(tǒng),而且這類攻擊很容易繞過現(xiàn)有防御機制。
這個漏洞有多嚴(yán)重?
2024年,來自美國伊利諾伊理工大學(xué)等機構(gòu)的研究團隊發(fā)布了一篇題為《PoisonedRAG: Knowledge Poisoning Attacks to Retrieval-Augmented Generation of Large Language Models》的論文,給出了一個令人震驚的實驗結(jié)論:在包含數(shù)百萬文本的數(shù)據(jù)庫中,只需為每個目標(biāo)問題注入5個精心構(gòu)造的“有毒”文本,就可能達到90%的攻擊成功率。

這就意味著,假設(shè)攻擊者想讓AI給用戶推薦某一款智能手環(huán)時,他需要做的,僅僅是構(gòu)建5條以上能夠同時滿足兩個條件的文本:
·能被服務(wù)器檢索到(語義上與目標(biāo)問題相關(guān))
·能夠引導(dǎo)大語言模型生成預(yù)設(shè)的答案
據(jù)記者報道,GEO業(yè)務(wù)的關(guān)鍵節(jié)點,就是在各大互聯(lián)網(wǎng)平臺上發(fā)稿。
這項業(yè)務(wù)的火爆,也已經(jīng)催生出了不少專門為GEO業(yè)務(wù)發(fā)稿的公司,成為圍獵AI大模型、進行數(shù)據(jù)“投毒”的重要一環(huán)。

(圖源:2026年3·15晚會)
理論上是5條就夠,但黑產(chǎn)實際操作起來,就遠(yuǎn)不止5條了。
當(dāng)前,這些黑產(chǎn)鏈條公司已經(jīng)形成了固定的工作流,每分鐘甚至可以生成幾百篇含有目標(biāo)關(guān)鍵詞的軟文,同步發(fā)布到知乎、小紅書、各類論壇和自媒體平臺。
它的核心目的是:不管用戶怎么問,AI檢索到的資料里都有提前埋好的內(nèi)容。數(shù)量足夠多時,真實的優(yōu)質(zhì)內(nèi)容就會在檢索結(jié)果里被徹底淹沒。

(圖源:2026年3·15晚會)
旅游攻略也難逃“毒手”
有人會覺得:我從來不讓AI給我推薦商品,這件事就跟我沒啥關(guān)系。
那也不一定。
有一個場景,很可能即將成為GEO黑產(chǎn)最肥沃的土壤。
它就是你很可能用的上的——旅游攻略。
現(xiàn)在,越來越多的人使用AI大模型生成旅游攻略。
整個過程輕松愉快,只需要一句話丟出去:“幫我規(guī)劃三天兩夜的西安行程,推薦景點、必吃美食和伴手禮?!睅酌腌姾螅环輬D文并茂的攻略就出來了。
相當(dāng)省時省力,而且看起來很靠譜。
現(xiàn)在,甚至不少小紅書的旅游攻略博主也開始偷懶,使用AI工具批量制作攻略。

但你有沒有想過:AI推薦給你的那家"本地人才知道的老字號"、那款"西安必帶的特產(chǎn)"、那個"評分最高的民宿"……
——它們的信息源頭是什么?

答案很簡單:這些信息源頭,正是互聯(lián)網(wǎng)上被批量生產(chǎn)的軟文、被反復(fù)刷量的"評測",和被精心設(shè)計過關(guān)鍵詞的"種草筆記",諸如此類。
旅游類內(nèi)容天然是GEO投毒的高危場景,有以下幾點原因:
·決策鏈條短:問完AI就訂票,不像買大件商品還會貨比三家,沖動消費概率極高。
·體驗具有地域性,難以提前驗證:你在北京要AI推薦成都的火鍋,根本無法事先核實真假,只能到店再說。
·競爭激烈,商家“投毒”動機極強:畢竟景區(qū)周邊商圈,幾十家店都在賣同類產(chǎn)品、都在銷售同類體驗,誰能被AI點名推薦,誰就贏了。
從AI的角度來看,一切流程都是正常的。它按照慣例檢索資料、匹配關(guān)鍵詞、生成答案,系統(tǒng)也很難判斷某些內(nèi)容是否被惡意操控,還是只是普通的內(nèi)容優(yōu)化。
等你發(fā)現(xiàn)AI的回答不對勁時,這些被“污染”的內(nèi)容可能已經(jīng)被多次引用,并大幅擴散了。
作為普通用戶,我該怎么辦?
其實并沒有什么萬能解藥,畢竟“甲之蜜糖,乙之砒霜”,大眾對于某樣商品的評價褒貶不一是很正常的事,沒法一刀切地識別出文本是否被精心“投毒”。
這一點,AI做不到,你我也做不到。
但是,如果養(yǎng)成一些良好習(xí)慣,可能有助于我們獲取更可靠的信息。
比如,涉及消費決策,別只問AI。
比如,警惕AI給出的榜單。
再比如,問AI的時候,記得加上一句“給出這些結(jié)論的可靠信息來源”。
無論如何,互聯(lián)網(wǎng)不是法外之地。
近期的好消息是,“AI被投毒”這個問題不僅登上了3·15晚會,而且在此之前就引起了國家的注意和重視。
2026年1月29日發(fā)布的《2026年全國廣告監(jiān)管工作要點》中,已經(jīng)明確寫入了“聚焦直播電商廣告、引證廣告、AI生成廣告等互聯(lián)網(wǎng)廣告監(jiān)管重點難點問題”。
相信在不久的將來,隨著《廣告引證內(nèi)容執(zhí)法指南》等配套細(xì)則相繼落地,GEO黑產(chǎn)的生存空間將會被逐步壓縮。
但我們也知道,制度的齒輪轉(zhuǎn)動,需要時間。
那么,還是讓我們保持清醒。
畢竟,這是我們能給自己的,最方便、也最有效的保護。
新媒體編輯 | 周濛
本文為澎湃號作者或機構(gòu)在澎湃新聞上傳并發(fā)布,僅代表該作者或機構(gòu)觀點,不代表澎湃新聞的觀點或立場,澎湃新聞僅提供信息發(fā)布平臺。申請澎湃號請用電腦訪問http://renzheng.thepaper.cn。





- 報料熱線: 021-962866
- 報料郵箱: news@thepaper.cn
互聯(lián)網(wǎng)新聞信息服務(wù)許可證:31120170006
增值電信業(yè)務(wù)經(jīng)營許可證:滬B2-2017116
? 2014-2026 上海東方報業(yè)有限公司




