原創(chuàng) 張江、袁冰 集智俱樂(lè)部

涌現(xiàn)是復(fù)雜系統(tǒng)諸多現(xiàn)象中最神秘莫測(cè)的一個(gè)：從鳥(niǎo)群聚集、螞蟻覓食，到生命游戲、大模型涌現(xiàn)能力，再到宇宙起源、生命演化、意識(shí)產(chǎn)生，都可以看作是涌現(xiàn)。那么，究竟什么是涌現(xiàn)？涌現(xiàn)可以分成幾種類(lèi)型？涌現(xiàn)和因果是什么關(guān)系？我們應(yīng)該如何定量刻畫(huà)涌現(xiàn)？又應(yīng)該如何在數(shù)據(jù)中自動(dòng)檢測(cè)出涌現(xiàn)？

在因果涌現(xiàn)第三季讀書(shū)會(huì)第一期，北京師范大學(xué)系統(tǒng)科學(xué)學(xué)院教授張江老師，和集智科學(xué)研究中心技術(shù)與產(chǎn)品顧問(wèn)袁冰老師進(jìn)行了主題為“涌現(xiàn)、因果與人工智能”的分享，系統(tǒng)梳理了涌現(xiàn)、因果、因果涌現(xiàn)、涌現(xiàn)的分類(lèi)、因果涌現(xiàn)的識(shí)別，及其與隱空間機(jī)器學(xué)習(xí)、世界模型等人工智能算法之間的關(guān)系。本文由北京師范大學(xué)系統(tǒng)科學(xué)學(xué)院研究生楊明哲整理。

研究領(lǐng)域：因果涌現(xiàn)，涌現(xiàn)分類(lèi)，有效信息，人工智能，G-emergence，神經(jīng)信息壓縮器

張江、袁冰 | 講者

楊明哲 | 整理

梁金 | 編輯

目錄

1. 涌現(xiàn)、分類(lèi)與因果

2. 因果涌現(xiàn)與有效信息

3. 因果涌現(xiàn)識(shí)別與人工智能

4. 讀書(shū)會(huì)整體框架

一、涌現(xiàn)、分類(lèi)與因果

1. 涌現(xiàn)現(xiàn)象

如果你曾經(jīng)觀察過(guò)螞蟻，你會(huì)驚訝地發(fā)現(xiàn)，當(dāng)它們聚集成蟻群時(shí)，會(huì)展現(xiàn)出一種不可思議的“智能”表現(xiàn)。例如，它們能夠自動(dòng)發(fā)現(xiàn)從蟻群到達(dá)食物的最短路徑。這種智能表現(xiàn)并不是由于某些個(gè)體螞蟻的聰明才智，因?yàn)槊恐晃浵伓挤浅Ｐ?，不可能?guī)劃比它們身長(zhǎng)長(zhǎng)至少幾十倍以上的路徑。這種行為是由于許多螞蟻聚集成一個(gè)蟻群，才表現(xiàn)出來(lái)的智能。我們把這種現(xiàn)象稱(chēng)為涌現(xiàn)（Emergence）。

什么是涌現(xiàn)？當(dāng)我們用這個(gè)詞來(lái)描述蟻群這樣的現(xiàn)象時(shí)，是想描述它所體現(xiàn)的整體大于部分之和。為給出一個(gè)更加規(guī)范的定義，我們說(shuō)蟻群這樣的整體是一個(gè)系統(tǒng)，而其中每個(gè)螞蟻便是構(gòu)成這個(gè)系統(tǒng)的基本元素。于是我們可以給出涌現(xiàn)的定義：如果一個(gè)系統(tǒng)的屬性不是其任何基本元素的屬性，那么它就是涌現(xiàn)的。事實(shí)上不只是螞蟻，從鳥(niǎo)群的靈活有序，到大腦產(chǎn)生意識(shí)，皆是涌現(xiàn)出來(lái)的特質(zhì)。接下來(lái)介紹幾個(gè)其它的涌現(xiàn)案例讓讀者更多體會(huì)涌現(xiàn)這個(gè)概念。

圖1.許多小魚(yú)聚在一起擁有了大魚(yú)一般的威懾力，這是單獨(dú)一只小魚(yú)所不能擁有的

生命游戲

1970年，英國(guó)數(shù)學(xué)家約翰·何頓·康威（John Horton Conway）發(fā)明了元胞自動(dòng)機(jī)。這是一種無(wú)限的、二維正方形的柵格單元網(wǎng)格，每一個(gè)單元格有2種狀態(tài)可能性：活或死的（或者黑和白）。每個(gè)單元格都與其八個(gè)相鄰的單元交互。把每個(gè)單元格看作一個(gè)細(xì)胞，該系統(tǒng)具有以下規(guī)則：

1. 任何有兩個(gè)或三個(gè)活鄰居的活細(xì)胞都可以存活。

2. 具有三個(gè)活鄰居的任何死細(xì)胞都將成為活細(xì)胞。

3. 所有其他活細(xì)胞將在下一代死亡。同樣，所有其他死細(xì)胞仍保持死亡狀態(tài)。

這便是大名鼎鼎的生命游戲，至今已作為一個(gè)經(jīng)典的復(fù)雜系統(tǒng)被眾多學(xué)者研究。它吸引大家研究的點(diǎn)在于，作為基本元素的細(xì)胞有著非常簡(jiǎn)單的交互規(guī)則，但當(dāng)我們把視點(diǎn)放在全局，卻會(huì)發(fā)現(xiàn)很多有意思的圖案（pattern）。有些是靜態(tài)的，像圖3中的“方塊”、“面包”等等，隨著時(shí)間不再變化。還有一些則是周期振蕩的，甚至像水面上的波一樣向某一個(gè)方向傳播。比如說(shuō)“滑翔機(jī)”，是一個(gè)朝某一方向“運(yùn)動(dòng)”的周期動(dòng)態(tài)圖案，用它構(gòu)造布爾電路，甚至可以在生命游戲里搭建抽象的計(jì)算機(jī)，支持通用計(jì)算。

圖2.生命游戲在某一個(gè)時(shí)間步上的全局狀態(tài)

圖3.生命游戲里的部分靜態(tài)案例

阿米巴蟲(chóng)的例子

生命游戲的例子體現(xiàn)出，我們?cè)谟?jì)算機(jī)上就可以通過(guò)簡(jiǎn)單的編程，來(lái)復(fù)現(xiàn)一個(gè)復(fù)雜系統(tǒng)的涌現(xiàn)現(xiàn)象。接下來(lái)介紹的阿米巴蟲(chóng)的例子，則讓我們認(rèn)識(shí)到人類(lèi)甚至可以向生物界中的涌現(xiàn)現(xiàn)象學(xué)習(xí)，為人類(lèi)工程師的設(shè)計(jì)提供借鑒。

阿米巴蟲(chóng)有兩種生存狀態(tài)，一種是作為大型黏菌存活，而當(dāng)它饑餓時(shí)，會(huì)分解出很多微小的單細(xì)胞生物去覓食。如果它們發(fā)現(xiàn)了一個(gè)食物點(diǎn)，就會(huì)構(gòu)建一條管道輸送食物給黏菌。我們會(huì)發(fā)現(xiàn)，這些管道構(gòu)建成的運(yùn)輸網(wǎng)會(huì)被不斷優(yōu)化，一些低效的管道會(huì)漸漸消失，而對(duì)于留下來(lái)的運(yùn)輸網(wǎng)，如果去測(cè)量它的運(yùn)輸效率等指標(biāo)，則會(huì)發(fā)現(xiàn)它幾乎就是最優(yōu)的設(shè)計(jì)。這啟發(fā)科學(xué)家借鑒阿米巴蟲(chóng)的生長(zhǎng)來(lái)設(shè)計(jì)城市的交通運(yùn)輸網(wǎng)。如圖4所示，實(shí)驗(yàn)中特意擺放食物點(diǎn)使之與城市的各個(gè)地點(diǎn)坐標(biāo)相似，便可以得到阿米巴蟲(chóng)“設(shè)計(jì)”的交通運(yùn)輸網(wǎng)了。

圖4.阿米巴蟲(chóng)自發(fā)演化出的食物運(yùn)輸管道

蟻群覓食的例子

以上舉出的涌現(xiàn)現(xiàn)象何以可能？我們?cè)賮?lái)分析一下螞蟻覓食的案例?？茖W(xué)家進(jìn)一步發(fā)現(xiàn)，蟻群發(fā)現(xiàn)覓食最短路徑包含了以下三點(diǎn)：1. 螞蟻找到食物就會(huì)釋放信息素；2.信息素會(huì)吸引更多的螞蟻來(lái)聚集，同時(shí)信息素也會(huì)揮發(fā)；3.螞蟻和信息素形成正反饋回路，把路徑長(zhǎng)短上的細(xì)小差異放大，從而篩選出最短路徑。借此我們大致可以定性地描述涌現(xiàn)發(fā)生的機(jī)制：局部作用產(chǎn)生正反饋機(jī)制，從而導(dǎo)致宏觀上“令人驚異”的現(xiàn)象。這里面不需要一個(gè)上帝一般的角色來(lái)做全局的考慮和設(shè)計(jì)。

圖5.螞蟻?zhàn)詣?dòng)發(fā)現(xiàn)覓食最短路徑

大語(yǔ)言模型的涌現(xiàn)能力

涌現(xiàn)這個(gè)概念近年來(lái)越來(lái)越火，尤其是ChatGPT的流行，讓更多人關(guān)注大語(yǔ)言模型（LLM）與它的涌現(xiàn)能力。這里的涌現(xiàn)更多是指，隨著模型規(guī)模變大，突然在某一刻擁有了以前沒(méi)有的能力，比如能在自然語(yǔ)言交互中回答一些智力題。這種神奇的進(jìn)步在直覺(jué)上和前面所說(shuō)的自然界中的涌現(xiàn)現(xiàn)象似乎一樣，但實(shí)際是有差異的，因?yàn)檫@里沒(méi)有局部正反饋反映到宏觀全局的過(guò)程，其背后原因更多和思維鏈（chain of thoughts）有關(guān)，這里不過(guò)多解釋?zhuān)蓞⒖贾暗奈恼?。但這不妨礙我們進(jìn)一步挖掘其背后的秘密，在以后看到更精彩的大模型涌現(xiàn)。

大模型還體現(xiàn)出另一種令人驚訝的特性，即隨著尺度的變化，計(jì)算準(zhǔn)確度呈現(xiàn)冪律上升，這就是規(guī)模法則（scaling law）。規(guī)模法則在各種不同的復(fù)雜系統(tǒng)中都會(huì)出現(xiàn)，從生物界到城市科學(xué)。比如在鳥(niǎo)群中，鳥(niǎo)和鳥(niǎo)之間的關(guān)聯(lián)便是關(guān)于距離的冪律函數(shù)。這其實(shí)也是一種涌現(xiàn)出來(lái)的現(xiàn)象，是一種統(tǒng)計(jì)上的涌現(xiàn)現(xiàn)象。它的出現(xiàn)意味著我們拋棄了大量無(wú)關(guān)信息，抓住了一些關(guān)鍵指標(biāo)的變化。以它為切入口，我們可以深挖其背后的機(jī)理，從而幫助理解前面舉出的那些難以規(guī)范描述的涌現(xiàn)現(xiàn)象。

2. 因果與涌現(xiàn)

為了理解涌現(xiàn)現(xiàn)象，我們發(fā)現(xiàn)可以從因果的視角入手，來(lái)重新闡釋復(fù)雜系統(tǒng)里個(gè)體與整體的關(guān)系?；氐较伻旱睦樱囅胍粋€(gè)蟻群過(guò)河的場(chǎng)景。為了讓整個(gè)蟻群能安然渡河，與水面接觸的那幾只螞蟻便成了犧牲品。這里便存在一個(gè)因果關(guān)系，而且與我們更為熟悉的因果方向不同。我們更容易接受的是，因?yàn)槲浵佔(zhàn)鳛閭€(gè)體的某些行為，所以有了蟻群在宏觀上的某些現(xiàn)象，這在亞里士多德的四因說(shuō)里是質(zhì)料因。但在蟻群過(guò)河的例子中，因?yàn)橄伻阂谒嫔仙?，所以犧牲了邊緣的幾只螞蟻，出現(xiàn)了自上而下的形式因。這時(shí)候我們或許更傾向于把整個(gè)蟻群看作一個(gè)超級(jí)生命體，而不再是一只只螞蟻的排列。

圖6. 一個(gè)蟻群在水面上，體現(xiàn)出向下因果

類(lèi)似的例子還有很多，都涉及到因果律的變化。有的復(fù)雜系統(tǒng)里自上而下的因果相比于自下而上的因果體現(xiàn)的更明顯，還有的系統(tǒng)中只能在宏觀層面去解釋一些結(jié)果，而不能用微觀的個(gè)體去做因果上的解釋。

那因果和涌現(xiàn)到底是什么關(guān)系？Jochen Fromm 在中指出，對(duì)于所有的結(jié)果（effect），我們都會(huì)試圖找到它的原因（cause），但涌現(xiàn)現(xiàn)象是我們?cè)诤暧^上觀察到一個(gè)現(xiàn)象卻無(wú)法簡(jiǎn)單歸因的。這樣的洞見(jiàn)讓我們認(rèn)識(shí)到，對(duì)因果的研究是理解涌現(xiàn)的一個(gè)途徑。于是我們有了因果涌現(xiàn)（causal emergence）這樣一個(gè)概念和研究課題。我們希望借此能對(duì)涌現(xiàn)有一般性的研究，而不只是在一個(gè)個(gè)具體的案例里討論涌現(xiàn)現(xiàn)象。

3. 涌現(xiàn)的種類(lèi)

我們接下來(lái)來(lái)看對(duì)于涌現(xiàn)這個(gè)概念，歷史上已經(jīng)有了哪些定性的研究。首先介紹Jochen Fromm 對(duì)涌現(xiàn)的分類(lèi)。如圖7，圖中箭頭表示因果關(guān)系，那么根據(jù)因果關(guān)系的不同，可以把涌現(xiàn)分為四類(lèi)。

首先是簡(jiǎn)單涌現(xiàn)，只有自下而上的因果關(guān)系，比如對(duì)一些變量求均值，這種普通的統(tǒng)計(jì)特征我們非常熟悉了，不是我們關(guān)注的重點(diǎn)。有意思的事情發(fā)生在自上而下的因果關(guān)系的出現(xiàn)，這時(shí)便是弱涌現(xiàn)，像前面介紹過(guò)的螞蟻覓食就是這一類(lèi)。生命游戲則屬于多重涌現(xiàn)，在一次生命游戲中可以同時(shí)觀察到或靜態(tài)或動(dòng)態(tài)，大小不同長(zhǎng)相不一的圖案涌現(xiàn)出來(lái)。強(qiáng)涌現(xiàn)則是考慮了不只兩個(gè)尺度，同時(shí)有微觀、介觀、宏觀三個(gè)尺度，而介觀的存在完全隔離了微觀與宏觀之間的因果關(guān)系。例如從細(xì)胞到多細(xì)胞生命體再到智能與意識(shí)的存在。

Fromm, Jochen. "Types and forms of emergence." arXiv preprint nlin/0506028 (2005).

圖7. Jochen Fromm 對(duì)涌現(xiàn)的分類(lèi)

需要說(shuō)明的是，有些涌現(xiàn)離不開(kāi)主觀視角的介入。有些涌現(xiàn)是客觀固有的性質(zhì)，比如螞蟻覓食，可以用客觀指標(biāo)來(lái)度量蟻群覓食的能力，這樣的涌現(xiàn)可以被稱(chēng)作本體論的涌現(xiàn)。還有些涌現(xiàn)現(xiàn)象則源自觀察者的簡(jiǎn)化，比如我們觀察云彩的時(shí)候，會(huì)認(rèn)出某些云朵形狀類(lèi)似我們熟知的人臉。這樣的宏觀現(xiàn)象一樣無(wú)法歸因于每個(gè)運(yùn)動(dòng)的水蒸氣分子，但它是客觀物質(zhì)與人類(lèi)認(rèn)識(shí)共同形成的。這種涌現(xiàn)可以被稱(chēng)作認(rèn)識(shí)論的涌現(xiàn)。兩種涌現(xiàn)都很重要，都是我們要研究的對(duì)象。

另一位哲學(xué)家 Mark Bedau 也提出了自己對(duì)涌現(xiàn)的分類(lèi)，和 Jochen Fromm 的理論也有聯(lián)系。Fromm 所說(shuō)的簡(jiǎn)單涌現(xiàn)，便是Bedau提出的名義的涌現(xiàn)。而 Fromm 的弱涌現(xiàn)與多重涌現(xiàn)合在一起則是 Bedau 認(rèn)為的弱涌現(xiàn)。兩個(gè)人的共識(shí)在于對(duì)強(qiáng)涌現(xiàn)的認(rèn)識(shí)和界定。強(qiáng)涌現(xiàn)確實(shí)是最神秘也最令人著迷的一種。相比于 Fromm 的理論，Bedau 的分類(lèi)更加簡(jiǎn)潔。

圖8. Bedau 涌現(xiàn)理論的文章

Bedau, M. Downward causation and the autonomy of weak emergence. Principia: an international journal of epistemology 2002, 6, 5–50.

除了哲學(xué)上的探討，Bedau 更大的貢獻(xiàn)在于，用格蘭杰因果檢驗(yàn)這樣一個(gè)量化手段解釋了什么是弱涌現(xiàn)，此時(shí)弱涌現(xiàn)也可以叫做 G-emergence。如圖中A、B兩個(gè)時(shí)間序列，我們回歸分析變量An，可以得到A自身的歷史信息An-1與B的歷史信息Bn-1對(duì)它的解釋。如果僅憑借A自身的歷史信息就可以解釋An，便定義A是G自主（G-autonomous）的。那什么是弱涌現(xiàn)呢？在一個(gè)鳥(niǎo)群模型的例子中，每只鳥(niǎo)的運(yùn)動(dòng)便是微觀上的時(shí)間序列，而整個(gè)鳥(niǎo)群質(zhì)心的運(yùn)動(dòng)定義為宏觀上的時(shí)間序列。如果宏觀時(shí)間序列是G自主的，而微觀時(shí)間序列不是，還需要依靠宏觀質(zhì)心運(yùn)動(dòng)的歷史信息來(lái)預(yù)測(cè)下一時(shí)刻的微觀狀態(tài)，那么便定義這個(gè)系統(tǒng)是弱涌現(xiàn)的。該定義討論了自上而下的因果關(guān)系，而且是以機(jī)器作為觀察者視角，用算法發(fā)現(xiàn)了模型原本不包含的向下因果，屬于我們之前所討論的認(rèn)識(shí)論的涌現(xiàn)。

圖9.Bedau對(duì)于弱涌現(xiàn)定量的定義

二、因果涌現(xiàn)與有效信息

對(duì)于復(fù)雜系統(tǒng)的因果涌現(xiàn)，除了以上討論的定性研究，我們更希望能搭建一個(gè)量化的理論框架。Erik Hoel 作為因果涌現(xiàn)理論的正式提出者，最大的貢獻(xiàn)便是以因果為工具對(duì)涌現(xiàn)現(xiàn)象進(jìn)行了定量的刻畫(huà)。

Hoel, E.P.; Albantakis, L.; Tononi, G. Quantifying causal emergence shows that macro can beat micro. Proceedings of the National Academy of Sciences 2013, 110, 19790–19795.

如圖10所示，橫軸表示系統(tǒng)動(dòng)力學(xué)演化時(shí)間，縱軸則是同一系統(tǒng)的不同尺度。我們常常能觀測(cè)到微觀尺度上，系統(tǒng)在某一動(dòng)力學(xué)規(guī)則下演化，比如在一個(gè)密閉空間里，大量氣體分子在牛頓定律下運(yùn)動(dòng)。但這樣的運(yùn)動(dòng)非常無(wú)序，很難研究清楚，也就是說(shuō)微觀動(dòng)力學(xué)f的因果效應(yīng)強(qiáng)度會(huì)比較弱。為解決這一問(wèn)題，我們經(jīng)常會(huì)使用某一種粗?；侄?，把系統(tǒng)的微觀狀態(tài)映射到某一宏觀尺度上。比如對(duì)于剛才提及的氣體系統(tǒng)，我們開(kāi)發(fā)出溫度、壓強(qiáng)、熵等一系列宏觀指標(biāo)，那么所有氣體分子的速度和位置等變量就與這些宏觀指標(biāo)建立起了映射關(guān)系。在這個(gè)宏觀尺度上，我們往往會(huì)發(fā)現(xiàn)更加簡(jiǎn)潔的規(guī)律，比如有理想氣體方程PV=nRT。這時(shí)候可以說(shuō)該宏觀動(dòng)力學(xué)F的因果效應(yīng)強(qiáng)度高。如果有宏觀動(dòng)力學(xué)的因果效應(yīng)大于微觀動(dòng)力學(xué)因果效應(yīng)，便認(rèn)為該系統(tǒng)發(fā)生因果涌現(xiàn)。

圖10.Erik Hoel的因果涌現(xiàn)理論框架

這里的因果效應(yīng)強(qiáng)度要怎么度量呢？我們接下來(lái)介紹因果效應(yīng)度量的指標(biāo)有效信息（effective information, EI）。這個(gè)概念最早來(lái)自 Hoel 的導(dǎo)師 Tononi 的一篇文章，是指對(duì)于一個(gè)馬爾可夫系統(tǒng)，測(cè)量輸入和輸出的互信息，其中輸入服從最大熵分布。

Giulio Tononi， Olaf Sporns. Measuring information integration. BMC Neurosci, 2003, 4(31)

圖11.定義有效信息的示意圖

Hoel 進(jìn)一步發(fā)展這個(gè)概念，同樣是在離散的馬爾可夫系統(tǒng)中討論，對(duì)于一個(gè)轉(zhuǎn)移概率矩陣，可以測(cè)量它的 EI。EI 本質(zhì)是互信息，但僅僅是互信息還不行，因?yàn)榛バ畔y(cè)量的是關(guān)聯(lián)關(guān)系，無(wú)法去除數(shù)據(jù)分布本身帶來(lái)的混雜影響。為了讓互信息能正確衡量系統(tǒng)自身的性質(zhì)，需要約束輸入變量的分布，即人為對(duì)輸入一端的變量做干預(yù)，設(shè)定輸入變量為均勻分布（在離散系統(tǒng)中等同于最大熵分布），然后測(cè)量此時(shí)輸入和輸出之間的互信息，得到的便是 EI。干預(yù)這個(gè)概念來(lái)自 Judea Pearl 的因果理論，正是因?yàn)橐肓烁深A(yù)這樣的手段，EI 度量的便是因果效應(yīng)強(qiáng)度，是一個(gè)動(dòng)力學(xué)內(nèi)在的性質(zhì)，與外界數(shù)據(jù)無(wú)關(guān)。

值得分析的是，有效信息本身可以被拆成確定性（Det）和簡(jiǎn)并性（Deg）兩部分。確定性度量的是以過(guò)去狀態(tài)預(yù)測(cè)未來(lái)狀態(tài)的隨機(jī)性大小，簡(jiǎn)并性度量的是從未來(lái)狀態(tài)追溯過(guò)去狀態(tài)的隨機(jī)性大小。在數(shù)學(xué)上，對(duì)EI除以log2(n)做歸一化，得到Eff，于是推導(dǎo)可得 Eff=Det-Deg。這啟發(fā)我們，所謂因果效應(yīng)強(qiáng)，可以歸于兩個(gè)方面，高確定性和低簡(jiǎn)并性。圖12中提供了幾個(gè)案例，包括轉(zhuǎn)移概率矩陣和對(duì)應(yīng)的各指標(biāo)的計(jì)算值，供讀者參考體會(huì)。

圖12.有效信息及確定性簡(jiǎn)并性計(jì)算的案例，其中色塊深淺表示轉(zhuǎn)移概率矩陣上每個(gè)條件概率的大小

因此，我們可以來(lái)回答為什么一些粗粒化策略可以提高有效信息。當(dāng)輸入是某一狀態(tài)時(shí)，輸出會(huì)有多種可能，是一個(gè)具有隨機(jī)性的分布，如果我們通過(guò)粗粒化把這些可能的輸出打包為一個(gè)輸出，就減少了隨機(jī)性，于是提高了確定性；同理，從某一個(gè)輸出結(jié)果往回追溯，它也會(huì)對(duì)應(yīng)多個(gè)可能的輸入，如果打包這些輸入，就能減少這個(gè)過(guò)程的簡(jiǎn)并性。這兩條路徑都可以提高有效信息。

三、因果涌現(xiàn)識(shí)別與人工智能

到目前為止，我們已在離散的馬爾可夫系統(tǒng)上充分討論了如何定量刻畫(huà)粗?；约耙蚬楷F(xiàn)，但這本身還是非常理想化的。除了馬爾可夫性的假設(shè)以外，更重要的是我們已知其背后的動(dòng)力學(xué)，而這在真實(shí)世界中幾乎不可能，尤其面對(duì)復(fù)雜系統(tǒng)的時(shí)候。所以當(dāng)我們已收集好微觀數(shù)據(jù)，比如一個(gè)多主體系統(tǒng)中每個(gè)主體的運(yùn)動(dòng)軌跡，需要回答如何從中識(shí)別因果涌現(xiàn)的問(wèn)題?？紤]識(shí)別因果涌現(xiàn)的時(shí)候，需要有粗?；呗詠?lái)建立多尺度視角，所以進(jìn)一步又有兩個(gè)更加具體的問(wèn)題：如何在數(shù)據(jù)中自動(dòng)得到合適的粗?；呗砸约罢业綄?duì)應(yīng)的宏觀動(dòng)力學(xué)。

到目前，已經(jīng)有學(xué)者沿著這條軌跡做出了成果。這里主要向讀者介紹神經(jīng)信息壓縮器（Neural Information Squeezer，NIS）的工作，其它相關(guān)工作會(huì)在后面的讀書(shū)會(huì)中進(jìn)一步展開(kāi)。

Zhang, J.; Liu, K. Neural information squeezer for causal emergence. Entropy 2022, 25, 26.

如今，面對(duì)大量數(shù)據(jù)，機(jī)器學(xué)習(xí)是一個(gè)主要的處理手段，而NIS便是把機(jī)器學(xué)習(xí)中的神經(jīng)網(wǎng)絡(luò)技術(shù)借鑒到了因果涌現(xiàn)識(shí)別的問(wèn)題中來(lái)。熟悉神經(jīng)網(wǎng)絡(luò)的讀者知道，神經(jīng)網(wǎng)絡(luò)是一個(gè)計(jì)算能力強(qiáng)的黑箱，能擬合任意復(fù)雜的函數(shù)，但同時(shí)可解釋性很差。這使得它雖然對(duì)于普通的預(yù)測(cè)或分類(lèi)任務(wù)表現(xiàn)不錯(cuò)，可一旦環(huán)境變化，它就容易失敗，因?yàn)樗芏鄷r(shí)候并沒(méi)有把握住一個(gè)動(dòng)力系統(tǒng)背后本質(zhì)的規(guī)律。如果我們能用一個(gè)神經(jīng)網(wǎng)絡(luò)框架學(xué)習(xí)到因果性更強(qiáng)的宏觀動(dòng)力學(xué)，那么這樣的神經(jīng)網(wǎng)絡(luò)會(huì)比一般的神經(jīng)網(wǎng)絡(luò)具有更強(qiáng)的可解釋性和泛化能力。

具體怎么做呢？回到我們得到的微觀數(shù)據(jù)上，它們通常是多維的時(shí)間序列數(shù)據(jù)，可以假定背后有微觀動(dòng)力學(xué)生成這些數(shù)據(jù)。接下來(lái)我們用編碼器來(lái)對(duì)這些數(shù)據(jù)做粗?；?，得到宏觀的數(shù)據(jù)，其中輸出的宏觀數(shù)據(jù)比輸入的微觀數(shù)據(jù)維度會(huì)更少。對(duì)于這些宏觀數(shù)據(jù)，我們用一個(gè)神經(jīng)網(wǎng)絡(luò)擬合它背后的宏觀動(dòng)力學(xué)（macro dynamics）。得到了宏觀動(dòng)力學(xué)，我們可以測(cè)量它的EI（這里需要先對(duì)EI進(jìn)行拓展，使其可以度量神經(jīng)網(wǎng)絡(luò)的因果性。這樣的拓展是合理的，因?yàn)檩斎胼敵鲋幌嗖钜粋€(gè)時(shí)間步，神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的動(dòng)力學(xué)具有馬爾可夫性。具體細(xì)節(jié)見(jiàn)參考文獻(xiàn)）。這個(gè)EI便是我們要最大化的目標(biāo)，通過(guò)梯度反傳來(lái)優(yōu)化編碼器和宏觀動(dòng)力學(xué)神經(jīng)網(wǎng)絡(luò)。

這樣似乎就已經(jīng)解決了前面提出來(lái)的問(wèn)題，找到了因果涌現(xiàn)最強(qiáng)的宏觀動(dòng)力學(xué)。但在實(shí)操中我們會(huì)遭遇平凡解的問(wèn)題。由前面的分析我們知道，因果涌現(xiàn)來(lái)自于高確定性和低簡(jiǎn)并性。對(duì)于機(jī)器而言，它總能找到一個(gè)特定的高確定同時(shí)低簡(jiǎn)并的策略來(lái)滿(mǎn)足優(yōu)化目標(biāo)，那便是把所有微觀數(shù)據(jù)粗?；癁橐粋€(gè)常數(shù)值，然后擬合宏觀動(dòng)力學(xué)為恒等映射。這種策略得到的宏觀動(dòng)力學(xué)EI非常大，但這顯然是我們不想要的平凡解。那問(wèn)題出在哪了呢？

相信讀者很快意識(shí)到，此時(shí)學(xué)習(xí)到的宏觀動(dòng)力學(xué)和微觀數(shù)據(jù)實(shí)際沒(méi)有任何關(guān)系，換句話(huà)說(shuō)，它不包含微觀的信息。這讓我們意識(shí)到，一味追求EI這個(gè)指標(biāo)是不行的，需要增加約束讓學(xué)習(xí)的宏觀動(dòng)力學(xué)包含微觀的信息。NIS的做法是讓宏觀動(dòng)力學(xué)得到的預(yù)測(cè)輸出再解碼回微觀，得到對(duì)微觀的預(yù)測(cè)。如果這個(gè)預(yù)測(cè)足夠準(zhǔn)確，那么宏觀動(dòng)力學(xué)一定不是平凡解，而會(huì)包含微觀態(tài)的信息。完整的NIS框架如下圖所示。

圖13. NIS的框架圖

首先介紹一下編碼器和解碼器。編碼器所擬合的粗粒化映射分為兩部分，首先是一個(gè)可逆的神經(jīng)網(wǎng)絡(luò)（INN），可以模擬任意復(fù)雜的可逆映射，在這個(gè)過(guò)程中沒(méi)有任何信息的損失，其次是拋棄維度的操作，相當(dāng)于一次投影操作，也就是在這一步發(fā)生信息的損失。投影保留的分量便是宏觀動(dòng)力學(xué)學(xué)習(xí)器的輸入。在另一端解碼時(shí)，拼接一個(gè)標(biāo)準(zhǔn)正態(tài)分布的噪音擴(kuò)充維度，再輸入到INN中。編碼和解碼所用INN共享參數(shù)。

我們約束該框架，使微觀上預(yù)測(cè)輸出的誤差收斂到一定范圍內(nèi)，在這個(gè)條件下最大化擬合的宏觀動(dòng)力學(xué)。于是整個(gè)NIS構(gòu)建起了一個(gè)信息瓶頸，如圖14所示，有用的信息在保留的維度里，通過(guò)宏觀動(dòng)力學(xué)F傳遞，而經(jīng)過(guò)對(duì)INN的訓(xùn)練，投影拋棄的維度自然就是無(wú)用的噪音。如此把握系統(tǒng)本質(zhì)的規(guī)律，可以使模型在變化的環(huán)境里也可以保證預(yù)測(cè)的準(zhǔn)確和有效性。當(dāng)然，維度不能保留的太少，否則“通道”太窄，沒(méi)辦法把所有有用的信息傳遞過(guò)去。于是存在某一個(gè)宏觀維度大小，剛好使對(duì)預(yù)測(cè)有用的信息都傳遞，而留存的噪音達(dá)到最小。這便是瓶頸的含義。這種性質(zhì)可以在信息指標(biāo)上體現(xiàn)出來(lái)，如果NIS被充分訓(xùn)練，我們可以觀察到此時(shí)宏觀動(dòng)力學(xué)輸入和輸出的互信息約等于微觀態(tài)t時(shí)刻與t+1時(shí)刻之間的互信息。

圖14.信息瓶頸示意圖和NIS因果圖

目前NIS已在一些實(shí)驗(yàn)上體現(xiàn)出它的效果。下面介紹其中兩個(gè)實(shí)驗(yàn)，其它更多實(shí)驗(yàn)細(xì)節(jié)可見(jiàn)參考文獻(xiàn)。首先，為了證明該框架的有效性，我們用簡(jiǎn)單的彈簧振子模型來(lái)做一個(gè)數(shù)值實(shí)驗(yàn)。該模型本身只有兩個(gè)維度，速度(v)和位置(z)。把這兩個(gè)維度作為宏觀態(tài)，在它們基礎(chǔ)上分別加減一個(gè)正態(tài)分布噪音擴(kuò)充至四維，模擬的是觀測(cè)噪音。得到的四維變量作為微觀數(shù)據(jù)，使用NIS進(jìn)行因果涌現(xiàn)識(shí)別任務(wù)。如圖15右圖所示，通過(guò)遍歷各個(gè)宏觀維度，計(jì)算各層EI以及宏微觀EI的差值 (CE)，果然發(fā)現(xiàn)在二維層面上CE值最高，和我們預(yù)想的答案一致。同時(shí)左圖體現(xiàn)出，NIS學(xué)習(xí)得到的宏觀軌跡和真實(shí)的宏觀軌跡在相空間上非常相似。這說(shuō)明NIS真正把握到了該系統(tǒng)背后的宏觀規(guī)律。

圖15. 彈簧振子模型部分實(shí)驗(yàn)結(jié)果

除了人為構(gòu)造的簡(jiǎn)單模型，還要在經(jīng)典的復(fù)雜系統(tǒng)上檢驗(yàn)NIS。前面提及的生命游戲便是這樣一個(gè)復(fù)雜系統(tǒng)。那NIS能不能捕捉到人眼很容易分辨出的有趣的圖案呢？圖16展示的就是以“滑翔機(jī)”作為實(shí)驗(yàn)對(duì)象，此時(shí)NIS捕捉的宏觀態(tài)以及和真實(shí)數(shù)據(jù)的對(duì)比?？梢钥闯?，訓(xùn)練好的NIS可以在宏觀上以分塊的形式捕捉到兩個(gè)滑翔機(jī)，就好似人腦識(shí)別出滑翔機(jī)圖案時(shí)，對(duì)它們進(jìn)行的抽象?？梢云诖院箢?lèi)似的多尺度建模方法可以捕捉到生命游戲更多樣的宏觀圖案。

圖16.生命游戲部分實(shí)驗(yàn)結(jié)果

四、讀書(shū)會(huì)整體框架

到這里我們可以做一個(gè)總結(jié)。因果涌現(xiàn)理論的誕生，是為了以因果的概念來(lái)嘗試定量刻畫(huà)原本神秘的涌現(xiàn)現(xiàn)象。當(dāng)我們能夠度量每個(gè)動(dòng)力學(xué)的因果性強(qiáng)弱后，如果有宏觀的因果強(qiáng)于微觀上的因果，便定義因果涌現(xiàn)的發(fā)生。而面對(duì)現(xiàn)實(shí)世界中各種復(fù)雜系統(tǒng)，我們需要有自動(dòng)建模方法能從數(shù)據(jù)中識(shí)別因果涌現(xiàn)，NIS是一個(gè)在這方面取得一些成效的工作。

為更深理解因果涌現(xiàn)這一領(lǐng)域，第三季讀書(shū)會(huì)展開(kāi)了更豐富的問(wèn)題和理論，比如考慮連續(xù)系統(tǒng)上的因果涌現(xiàn)，回顧和因果涌現(xiàn)領(lǐng)域關(guān)系密切的經(jīng)典文獻(xiàn)，比如計(jì)算力學(xué)、協(xié)同學(xué)、隱空間動(dòng)力學(xué)以及涌現(xiàn)探測(cè)等等。其余話(huà)題，包括信息分解等，將在第四季讀書(shū)會(huì)更進(jìn)一步地聚焦和展開(kāi)。

圖17. 因果涌現(xiàn)框架圖

學(xué)者簡(jiǎn)介

張江，北京師范大學(xué)系統(tǒng)科學(xué)學(xué)院教授，集智俱樂(lè)部、集智學(xué)園、集智科學(xué)研究中心的創(chuàng)始人，曾任騰訊研究院、華為戰(zhàn)略研究院等特聘顧問(wèn)。主要研究領(lǐng)域包括復(fù)雜系統(tǒng)分析與建模、規(guī)模理論等。

集智斑圖個(gè)人主頁(yè)：https://pattern.swarma.org/user/9

袁冰，集智科學(xué)研究中心技術(shù)與產(chǎn)品顧問(wèn)。畢業(yè)于華中科技大學(xué)，研究興趣包括因果推斷、復(fù)雜科學(xué)，以及人工智能相關(guān)領(lǐng)域。集智斑圖個(gè)人主頁(yè)：https://pattern.swarma.org/user/46173

因果涌現(xiàn)讀書(shū)會(huì)

跨尺度、跨層次的涌現(xiàn)是復(fù)雜系統(tǒng)研究的關(guān)鍵問(wèn)題，生命起源和意識(shí)起源這兩座仰之彌高的大山是其代表。而因果涌現(xiàn)理論、機(jī)器學(xué)習(xí)重整化技術(shù)、信息論或信息分解等近年來(lái)新興的理論與工具，有望破解復(fù)雜系統(tǒng)的涌現(xiàn)規(guī)律。而新興的因果表征學(xué)習(xí)、量子因果等領(lǐng)域也將為因果涌現(xiàn)研究注入新鮮血液。

原標(biāo)題：《什么是涌現(xiàn)？人工智能給你答案》

閱讀原文