9999精品视频,一区二区色,91福利在线免费播放,人妻在线综合综合网,人妻丰满精品一区,九九九精品九九九精品,久久精品店,国产午夜久久,五月天人妻超碰

  • +1

AI被污染!3·15晚會曝光產(chǎn)業(yè)鏈,你我如何避免上當(dāng)?| 科學(xué)世界·前沿

2026-03-19 16:05
來源:澎湃新聞·澎湃號·湃客
聽全文
字號

今年的315晚會,什么最讓你破防?

——是被“如果全世界都指責(zé)你,我就帶你去吃劉x祥”帶火,卻驟然“塌房”的麻辣燙?

——還是生產(chǎn)車間污水橫流,加工工人都坦言“自己不吃”的漂白雞爪?

每一條曝光,都在朋友圈引發(fā)“天塌了”式的刷屏。

但在這些讓人直呼“毀童年”的食品安全問題之外,今年的315晚會還曝光了另外一個值得警惕的問題。

——有人在給AI大模型“投毒”!

——并且已形成完整的產(chǎn)業(yè)鏈!

(圖源:2026年3·15晚會)

AI真的客觀嗎?

今年3·15晚會上,演示了一個讓人后背發(fā)涼的實驗。

業(yè)內(nèi)人士先虛構(gòu)了一款名叫“Apollo-9”的智能手環(huán),然后用一款"GEO優(yōu)化系統(tǒng)"自動生成了十余篇宣傳軟文。

(圖源:2026年3·15晚會)

這套軟文不僅包括給定的產(chǎn)品介紹,AI還“好心”地幫忙生成了消費者評價。

(圖源:2026年3·15晚會)

發(fā)布兩個小時后,業(yè)內(nèi)人士在某款A(yù)I大模型中詢問“Apollo-9智能手環(huán)怎么樣”,這個大模型竟然就可以進行產(chǎn)品介紹,還給打分了!

(圖源:2026年3·15晚會)

發(fā)布數(shù)天后,業(yè)內(nèi)人士在兩款A(yù)I大模型中搜索“智能手環(huán)推薦”,Apollo-9赫然在列,并且排名靠前。

(圖源:2026年3·15晚會)

產(chǎn)品是假的,但AI推薦是真的。

這就是3·15今年曝光的核心問題。

——有這樣一個叫GEO(生成式引擎優(yōu)化,Generative Engine Optimization)的灰色產(chǎn)業(yè),正在系統(tǒng)性地給AI"投毒"。

什么是GEO?先從SEO說起

很多人都知道SEO(Search engine optimization),或者說,都使用過SEO。

當(dāng)你使用搜索引擎的時候,往往只會留意最前面的幾個條目,所以不少網(wǎng)站都希望通過各種方式來影響搜索引擎的排序,吸引更多的人點進來。

GEO同SEO的原理一樣,不過它針對的是生成式AI模型。

GEO通過提升品牌在AI生成答案中的可見性和引用優(yōu)先級,使企業(yè)信息被AI算法識別為“可信來源”,從而在用戶查詢時獲得優(yōu)先推薦。

也就是“讓AI覺得你好”。

這本身并沒有觸犯法律,如果一家企業(yè)使用真實內(nèi)容讓AI了解自己的產(chǎn)品,并將它推廣給受眾,這是正當(dāng)營銷。

但3·15晚會曝光的,是被濫用的黑產(chǎn)版本——用虛假信息對AI進行大批量投喂,讓AI徹底淪為可以花錢購買的廣告位。

“投毒”是如何做到的——RAG檢索

在大模型被制造出來之前,工程師會給它“投喂”海量的互聯(lián)網(wǎng)數(shù)據(jù);而模型在這海量數(shù)據(jù)里學(xué)習(xí)語言規(guī)律和基礎(chǔ)知識,并將這些數(shù)據(jù)永久保存。

但這些數(shù)據(jù)規(guī)模再大,終究也是有限的,起碼不是最新的。于是工程師發(fā)明了RAG技術(shù),即檢索增強生成(Retrieval-Augmented Generation,RAG)技術(shù)。

RAG的核心,是知識庫、檢索器以及大語言模型本身。

正常情況下,用戶提問后,檢索器先從外部知識庫中獲取相關(guān)信息,再將用戶查詢的內(nèi)容同檢索到的相關(guān)知識一起,嵌套進預(yù)設(shè)的提示詞模版中,最終生成答案。

通用檢索增強生成架構(gòu) (圖源:論文《PoisonedRAG: Knowledge Poisoning Attacks to Retrieval-Augmented Generation of Large Language Models》)

這個系統(tǒng)的漏洞在于:檢索器從外部知識庫獲取的信息,默認(rèn)是準(zhǔn)確可用的。

于是,攻擊者可以通過污染檢索器使用的數(shù)據(jù)語料庫來操控系統(tǒng),而且這類攻擊很容易繞過現(xiàn)有防御機制。

這個漏洞有多嚴(yán)重?

2024年,來自美國伊利諾伊理工大學(xué)等機構(gòu)的研究團隊發(fā)布了一篇題為《PoisonedRAG: Knowledge Poisoning Attacks to Retrieval-Augmented Generation of Large Language Models》的論文,給出了一個令人震驚的實驗結(jié)論:在包含數(shù)百萬文本的數(shù)據(jù)庫中,只需為每個目標(biāo)問題注入5個精心構(gòu)造的“有毒”文本,就可能達到90%的攻擊成功率。

這就意味著,假設(shè)攻擊者想讓AI給用戶推薦某一款智能手環(huán)時,他需要做的,僅僅是構(gòu)建5條以上能夠同時滿足兩個條件的文本:

·能被服務(wù)器檢索到(語義上與目標(biāo)問題相關(guān))

·能夠引導(dǎo)大語言模型生成預(yù)設(shè)的答案

據(jù)記者報道,GEO業(yè)務(wù)的關(guān)鍵節(jié)點,就是在各大互聯(lián)網(wǎng)平臺上發(fā)稿。

這項業(yè)務(wù)的火爆,也已經(jīng)催生出了不少專門為GEO業(yè)務(wù)發(fā)稿的公司,成為圍獵AI大模型、進行數(shù)據(jù)“投毒”的重要一環(huán)。

(圖源:2026年3·15晚會)

理論上是5條就夠,但黑產(chǎn)實際操作起來,就遠(yuǎn)不止5條了。

當(dāng)前,這些黑產(chǎn)鏈條公司已經(jīng)形成了固定的工作流,每分鐘甚至可以生成幾百篇含有目標(biāo)關(guān)鍵詞的軟文,同步發(fā)布到知乎、小紅書、各類論壇和自媒體平臺。

它的核心目的是:不管用戶怎么問,AI檢索到的資料里都有提前埋好的內(nèi)容。數(shù)量足夠多時,真實的優(yōu)質(zhì)內(nèi)容就會在檢索結(jié)果里被徹底淹沒。

(圖源:2026年3·15晚會)

旅游攻略也難逃“毒手”

有人會覺得:我從來不讓AI給我推薦商品,這件事就跟我沒啥關(guān)系。

那也不一定。

有一個場景,很可能即將成為GEO黑產(chǎn)最肥沃的土壤。

它就是你很可能用的上的——旅游攻略

現(xiàn)在,越來越多的人使用AI大模型生成旅游攻略。

整個過程輕松愉快,只需要一句話丟出去:“幫我規(guī)劃三天兩夜的西安行程,推薦景點、必吃美食和伴手禮?!睅酌腌姾螅环輬D文并茂的攻略就出來了。

相當(dāng)省時省力,而且看起來很靠譜。

現(xiàn)在,甚至不少小紅書的旅游攻略博主也開始偷懶,使用AI工具批量制作攻略。

但你有沒有想過:AI推薦給你的那家"本地人才知道的老字號"、那款"西安必帶的特產(chǎn)"、那個"評分最高的民宿"……

——它們的信息源頭是什么?

答案很簡單:這些信息源頭,正是互聯(lián)網(wǎng)上被批量生產(chǎn)的軟文、被反復(fù)刷量的"評測",和被精心設(shè)計過關(guān)鍵詞的"種草筆記",諸如此類。

旅游類內(nèi)容天然是GEO投毒的高危場景,有以下幾點原因:

·決策鏈條短:問完AI就訂票,不像買大件商品還會貨比三家,沖動消費概率極高。

·體驗具有地域性,難以提前驗證:你在北京要AI推薦成都的火鍋,根本無法事先核實真假,只能到店再說。

·競爭激烈,商家“投毒”動機極強:畢竟景區(qū)周邊商圈,幾十家店都在賣同類產(chǎn)品、都在銷售同類體驗,誰能被AI點名推薦,誰就贏了。

從AI的角度來看,一切流程都是正常的。它按照慣例檢索資料、匹配關(guān)鍵詞、生成答案,系統(tǒng)也很難判斷某些內(nèi)容是否被惡意操控,還是只是普通的內(nèi)容優(yōu)化。

等你發(fā)現(xiàn)AI的回答不對勁時,這些被“污染”的內(nèi)容可能已經(jīng)被多次引用,并大幅擴散了。

作為普通用戶,我該怎么辦?

其實并沒有什么萬能解藥,畢竟“甲之蜜糖,乙之砒霜”,大眾對于某樣商品的評價褒貶不一是很正常的事,沒法一刀切地識別出文本是否被精心“投毒”。

這一點,AI做不到,你我也做不到。

但是,如果養(yǎng)成一些良好習(xí)慣,可能有助于我們獲取更可靠的信息。

比如,涉及消費決策,別只問AI。

比如,警惕AI給出的榜單。

再比如,問AI的時候,記得加上一句“給出這些結(jié)論的可靠信息來源”。

無論如何,互聯(lián)網(wǎng)不是法外之地。

近期的好消息是,“AI被投毒”這個問題不僅登上了3·15晚會,而且在此之前就引起了國家的注意和重視。

2026年1月29日發(fā)布的《2026年全國廣告監(jiān)管工作要點》中,已經(jīng)明確寫入了“聚焦直播電商廣告、引證廣告、AI生成廣告等互聯(lián)網(wǎng)廣告監(jiān)管重點難點問題”。

相信在不久的將來,隨著《廣告引證內(nèi)容執(zhí)法指南》等配套細(xì)則相繼落地,GEO黑產(chǎn)的生存空間將會被逐步壓縮。

但我們也知道,制度的齒輪轉(zhuǎn)動,需要時間。

那么,還是讓我們保持清醒。

畢竟,這是我們能給自己的,最方便、也最有效的保護。

新媒體編輯 | 周濛

    本文為澎湃號作者或機構(gòu)在澎湃新聞上傳并發(fā)布,僅代表該作者或機構(gòu)觀點,不代表澎湃新聞的觀點或立場,澎湃新聞僅提供信息發(fā)布平臺。申請澎湃號請用電腦訪問http://renzheng.thepaper.cn。

    +1
    收藏
    我要舉報
            查看更多

            掃碼下載澎湃新聞客戶端

            滬ICP備14003370號

            滬公網(wǎng)安備31010602000299號

            互聯(lián)網(wǎng)新聞信息服務(wù)許可證:31120170006

            增值電信業(yè)務(wù)經(jīng)營許可證:滬B2-2017116

            ? 2014-2026 上海東方報業(yè)有限公司

            兴隆县| 马边| 隆林| 台州市| 公主岭市| 三河市| 罗平县| 隆回县| 滨海县| 博乐市| 商水县| 唐海县| 白水县| 沭阳县| 报价| 崇阳县| 阜城县| 潜江市| 视频| 义马市| 沙田区| 磐安县| 礼泉县| 奈曼旗| 聊城市| 林周县| 翼城县| 博白县| 青铜峡市| 鸡东县| 武汉市| 柞水县| 保德县| 东山县| 钦州市| 治多县| 科尔| 大庆市| 政和县| 临湘市| 射洪县|