同時(shí)讀“控制論之父”諾伯特·維納的《人有人的用處》和“現(xiàn)代計(jì)算機(jī)之父”馮·諾伊曼的《計(jì)算機(jī)與人腦》，還是很有意思的。這兩位都深度參與了二戰(zhàn)期間的盟軍軍方項(xiàng)目以及早期現(xiàn)代計(jì)算機(jī)的研制，應(yīng)該頗有淵源。前者的手稿寫于1955年，后者初版于1949年，經(jīng)過相當(dāng)大改寫的新版則出版于1954年。可以看到，到1950年代中期，一種基于統(tǒng)計(jì)概率、偶然性/不完備性以及數(shù)字化信息中介的世界觀已經(jīng)完全確立起來了，只不過要讓至今生活在牛頓的確定性宇宙幻覺中的人們接受，還很難——快70年過去了，這兩本小冊(cè)子不可謂不暢銷，但對(duì)普通人的“常識(shí)”的改變依然微乎其微。

實(shí)際上，這兩個(gè)天賦異稟之人的確有很重要的交集。維納比馮·諾伊曼大9歲，晚死7年，基本上屬于同代人，但是神童出身的維納出道很早，11歲讀大學(xué)，19歲成為博士，21歲已經(jīng)在哈佛任教，而當(dāng)時(shí)的馮·諾伊曼還只是奧匈帝國(guó)一個(gè)因一戰(zhàn)爆發(fā)而不得不輟學(xué)的大學(xué)預(yù)科生。所以維納算得上是馮·諾伊曼的半個(gè)師長(zhǎng)。

(資料圖)

馮·諾伊曼移居美國(guó)后，維納先是想把當(dāng)時(shí)在普林斯頓的他挖去麻省理工當(dāng)數(shù)學(xué)系主任，后又在1944年召集了美國(guó)研究電子計(jì)算和相關(guān)技術(shù)領(lǐng)域的頂級(jí)數(shù)學(xué)家以及人工神經(jīng)元網(wǎng)絡(luò)計(jì)算的主要理論家在普林斯頓開研討會(huì)，并向與會(huì)的馮·諾伊曼推薦了麥卡洛克-皮茨模型——這個(gè)模型可以看作是第一代神經(jīng)網(wǎng)絡(luò)模型，今天已成為機(jī)器深度學(xué)習(xí)歷史上的里程碑，而模型名稱中的“皮茨”，即年輕的天才數(shù)學(xué)家沃爾特·皮茨，當(dāng)時(shí)正是維納的博士生。馮·諾伊曼旋即在1945年發(fā)表了奠定現(xiàn)代計(jì)算機(jī)理論基礎(chǔ)和沿用至今的“馮·諾伊曼體系結(jié)構(gòu)”的劃時(shí)代報(bào)告《EDVAC報(bào)告書的第一份草案》（First Draft of a Report on the EDVAC），其中唯一引用的一篇公開發(fā)表的論文，就是麥卡洛克和皮茨合作的那篇當(dāng)初并未引起反響的《神經(jīng)活動(dòng)中思想內(nèi)在性的邏輯演算》（A Logical Calculus of Ideas Immanent in Nervous Activity）。

馮·諾伊曼自己認(rèn)為，EDVAC是第一臺(tái)“將維納提交給布什的五條原則整合為一的機(jī)器”。所以其實(shí)一直有人認(rèn)為，“馮·諾伊曼體系結(jié)構(gòu)”的確切命名應(yīng)該是“維納-馮·諾伊曼體系結(jié)構(gòu)”。維納本人對(duì)此并沒有發(fā)表過意見，反而在《人有人的用處》中多次引用馮·諾伊曼《博弈論與經(jīng)濟(jì)行為》一書中的觀點(diǎn)，并極有創(chuàng)見地將囚徒困境與通信/信息問題聯(lián)系起來。其后，在控制論、計(jì)算機(jī)、神經(jīng)科學(xué)和人工智能歷史上具有重要影響的歷次“梅西會(huì)議”（1946～1953），維納和馮·諾伊曼都是重要參與者。

真正有趣的思想，通常因其超前性而被長(zhǎng)久埋沒。萊布尼茨的二進(jìn)制、單子、微知覺等一系列天才構(gòu)想，一定要等400年后進(jìn)入計(jì)算機(jī)和網(wǎng)絡(luò)時(shí)代，才有可能真正“復(fù)活”。大語(yǔ)言模型的思想先驅(qū)，或許也可以追溯到萊布尼茨，畢竟是他最先嘗試依托數(shù)理邏輯，構(gòu)建一整套通用的“普遍語(yǔ)言”，“它通過字母和符號(hào)進(jìn)行邏輯分析與綜合，把一般邏輯推理的規(guī)則改變?yōu)檠菟阋?guī)則，以便更精確更敏捷地進(jìn)行推理”（《神正論》）。

不過我們把視線移近一點(diǎn)，其實(shí)在上世紀(jì)中葉，馮·諾伊曼和諾伯特·維納就在研制真正的現(xiàn)代計(jì)算機(jī)的基礎(chǔ)上，不約而同地提出了相似的觀點(diǎn)，不過當(dāng)時(shí)很少人意識(shí)到其重要性而已。就AI，尤其是大語(yǔ)言模型、神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)而言，馮·諾伊曼和維納或許比圖靈，甚至比后面的麥卡錫、香農(nóng)、明斯基、辛頓這一代代“AI之父”都更接近問題的核心，因?yàn)樗麄兌际前雮€(gè)科學(xué)家＋半個(gè)哲學(xué)家，都敏銳地意識(shí)到了統(tǒng)計(jì)概率＋高維幾何的威力。

“按照詞在語(yǔ)言中出現(xiàn)的統(tǒng)計(jì)頻數(shù)，人們可以選出一個(gè)詞匯序列（兩個(gè)字構(gòu)成的或三個(gè)字構(gòu)成的字組），來求得和一種語(yǔ)言（例如英語(yǔ)）顯然相似之物；由此而得到的胡言亂語(yǔ)也會(huì)與正確英語(yǔ)具有顯著的令人信服的相似性。從語(yǔ)音學(xué)觀點(diǎn)看來，這種有意義的言語(yǔ)的沒有意義的類似物實(shí)際上等同于有意義的語(yǔ)言，雖則它在語(yǔ)義學(xué)上是妄語(yǔ)……”（《人有人的用處》P60）

讀維納在《人有人的用處》中探討機(jī)器學(xué)習(xí)時(shí)涉及語(yǔ)言問題的這段論述，你是否覺得今人對(duì)GPT原理的“科普”，看上去就像在抄書？

馮·諾伊曼在《計(jì)算機(jī)與人腦》中對(duì)神經(jīng)信息系統(tǒng)運(yùn)行原理的解析，同樣可以看作是在統(tǒng)計(jì)學(xué)基礎(chǔ)上初步設(shè)想了神經(jīng)網(wǎng)絡(luò)的構(gòu)造——

“……神經(jīng)系統(tǒng)中所用的信息系統(tǒng)基本上具有統(tǒng)計(jì)特性。換句話說，重要的不是明確的記號(hào)和數(shù)字的精確位置，而是它們出現(xiàn)的統(tǒng)計(jì)特征，即周期性或近周期脈沖序列等的頻率。

因此，神經(jīng)系統(tǒng)似乎采用的是與我們?cè)谄胀ǖ乃阈g(shù)和數(shù)學(xué)中所熟悉的記號(hào)系統(tǒng)截然不同的記號(hào)系統(tǒng)。它不是精確的記號(hào)系統(tǒng)。在記號(hào)系統(tǒng)里，每個(gè)記號(hào)的位置和存在與否對(duì)于確定消息的含義都具有決定性意義。而它是這樣一種記號(hào)系統(tǒng)，在這個(gè)系統(tǒng)中，消息的意義是由消息的統(tǒng)計(jì)特性傳遞的。我們已經(jīng)看到，這個(gè)系統(tǒng)是如何采取較低的算術(shù)精度但更高的邏輯可靠性的策略的：算術(shù)運(yùn)算引起的惡化通過邏輯的改進(jìn)而得到補(bǔ)償。”

最后一句話，如果你多少了解一點(diǎn)GPT運(yùn)行的基本原理，是不是會(huì)覺得相當(dāng)程度上，它可以被看作GPT核心算法Transformer的“中心思想”?

很多重要的東西，都已蘊(yùn)含在這兩本帶有科普性質(zhì)的小書中，但其真正的價(jià)值要被大多數(shù)人——即便是科學(xué)家中的大多數(shù)人——認(rèn)識(shí)到，還是要等上六七十年。

事實(shí)上，發(fā)明“人工智能”（Artificial Intelligence）一詞的約翰·麥卡錫正是1948年在加州理工讀書時(shí)，聽馮·諾伊曼講解維納的控制論而萌生了研究智能計(jì)算的想法。用“人工智能”這個(gè)詞，更多是為了顯示獨(dú)創(chuàng)性、拉開與維納的距離，但后來麥卡錫自己也承認(rèn)，“人工智能本應(yīng)叫控制論，也就是智能自動(dòng)化（Automation of Intelligence）”——正如我在前一篇文章里指認(rèn)的，麥卡錫對(duì)“人工智能”的命名很可能是一段彎路的起點(diǎn)，它的重點(diǎn)倒向了“仿生學(xué)”路徑，而維納更多基于信息、通信和機(jī)器學(xué)習(xí)原理的“自動(dòng)機(jī)”，或許才是“正路”，換句話說，AI這一名頭，其實(shí)更應(yīng)屬于“自動(dòng)智能”，而非“人工智能”。

“自動(dòng)智能”的核心不是刻意去模仿人的意識(shí)、自我意識(shí)乃至思維、情緒與情感，等等，而是很實(shí)際地著重于一件最關(guān)鍵的事情，我們今天對(duì)這件事情已經(jīng)耳熟能詳：機(jī)器學(xué)習(xí)。但在人工智能發(fā)展的歷史上，機(jī)器（自主/自動(dòng)）學(xué)習(xí)成為核心是相當(dāng)晚近的事情，而此前長(zhǎng)期的核心，正是模仿——怎樣盡可能讓人能做的都變成機(jī)器能做的，并做得更精確、更有效率。

關(guān)于機(jī)器學(xué)習(xí)這件事情，維納寫道：

“反饋就是一種把系統(tǒng)的過去演績(jī)?cè)俨暹M(jìn)它里面去以控制這個(gè)系統(tǒng)的方法。如果這些結(jié)果僅僅用作鑒定和調(diào)節(jié)該系統(tǒng)的數(shù)據(jù)，那就是控制工程師所用的簡(jiǎn)單的反饋。但是，如果說明演績(jī)情況的信息在送回之后能夠用來改變操作的一般方法和演績(jī)的模式，那我們就有一個(gè)完全可以稱之為學(xué)習(xí)的過程了。”

也就是說，在維納看來，機(jī)器學(xué)習(xí)的本質(zhì)無非是反饋循環(huán)。并且與今天強(qiáng)調(diào)人工智能還遠(yuǎn)遠(yuǎn)不具備“以假亂真”的能力——因?yàn)闄C(jī)器沒有情緒、情感、欲望等——的人相反，維納恰恰強(qiáng)調(diào)了這些所謂的主觀的、內(nèi)在的心理機(jī)制，其實(shí)也是學(xué)習(xí)的一環(huán)，是學(xué)習(xí)的某種閥門——

“那種被我們主觀地稱為情緒的現(xiàn)象，也許并不單純是神經(jīng)活動(dòng)中的一種沒有用處的附帶現(xiàn)象，它很可能是控制著學(xué)習(xí)過程中的以及其他類似過程中的某一重要階段……那些在人與其他生命體的情緒和現(xiàn)代類型的自動(dòng)機(jī)的應(yīng)答之間截然劃上一條不可逾越的鴻溝的心理學(xué)家，在他們做出否定的結(jié)論時(shí)，應(yīng)當(dāng)像我作出肯定的結(jié)論時(shí)那樣小心謹(jǐn)慎。”

與之多少形成呼應(yīng)的是，馮·諾伊曼強(qiáng)調(diào)了學(xué)習(xí)的另一個(gè)面向——記憶或存儲(chǔ)器：

“心靈一定是一個(gè)容量相當(dāng)大的記憶庫(kù)，而且很難想象，像人類神經(jīng)系統(tǒng)這么復(fù)雜的自動(dòng)機(jī)如果沒有它將如何運(yùn)作。”

“神經(jīng)細(xì)胞系統(tǒng)以各種可能的周期性方式相互刺激，也構(gòu)成了記憶。這些記憶是由活性元素（神經(jīng)細(xì)胞）組成的。我們?cè)谟?jì)算機(jī)技術(shù)中經(jīng)常大量使用這種存儲(chǔ)器。事實(shí)上，它們是第一批被實(shí)際引入的存儲(chǔ)器。”

根本來說，不管人還是機(jī)器，學(xué)習(xí)和反饋當(dāng)然都必須依賴于記憶/存儲(chǔ)，這是一而二二而一的事情。這也是70年過去了，不管電腦怎么迭代，芯片怎么“納米”，基于存儲(chǔ)器的馮·諾伊曼架構(gòu)至今不可動(dòng)搖的原因。

《人有人的用處》

[美]諾伯特·維納 著

商務(wù)印書館 1978年6月版

《計(jì)算機(jī)與人腦》

[美]約翰·馮·諾伊曼 著

商務(wù)印書館 2022年4月版

標(biāo)簽：