論文內(nèi)容概述

AI要90分鐘學(xué)會(huì)的游戲，人腦細(xì)胞竟在5分鐘搞定了。Cell在2022年的研究中，使用80萬(wàn)體外神經(jīng)元細(xì)胞(DishBrain)竟然學(xué)會(huì)玩70年代經(jīng)典街機(jī)游戲Pong！

論文鏈接：In vitro neurons learn and exhibit sentience when embodied in a simulated game-world (基于生物神經(jīng)元的模擬游戲世界感知學(xué)習(xí))

雖然現(xiàn)在人工智能發(fā)展迅速，但是人工神經(jīng)網(wǎng)絡(luò)依然難以高效地完成許多復(fù)雜任務(wù)，而這些復(fù)雜任務(wù)往往在生物神經(jīng)網(wǎng)絡(luò)上表現(xiàn)優(yōu)異。如果我們將生物神經(jīng)網(wǎng)絡(luò)整合到數(shù)字計(jì)算機(jī)系統(tǒng)中，或許可以解決當(dāng)前人工神經(jīng)網(wǎng)絡(luò)面臨的一些困境。

在這篇文章中，作者開(kāi)發(fā)了DishBrain（盤(pán)中大腦），這是一種在結(jié)構(gòu)化環(huán)境中利用神經(jīng)元固有的自適應(yīng)計(jì)算能力的系統(tǒng)。該系統(tǒng)使用生物神經(jīng)網(wǎng)絡(luò)（神經(jīng)元為人類(lèi)神經(jīng)元或老鼠神經(jīng)元）以高密度多電極陣列為信息交流媒介與計(jì)算機(jī)系統(tǒng)相結(jié)合，然后計(jì)算機(jī)系統(tǒng)輸出模擬游戲世界的相關(guān)信號(hào)，通過(guò)電生理刺激和記錄給DishBrain進(jìn)行信號(hào)交互以模仿街機(jī)游戲“Pong”。

應(yīng)用自由能原理的主動(dòng)推理理論，作者發(fā)現(xiàn)，在實(shí)時(shí)游戲五分鐘內(nèi)出現(xiàn)了明顯的學(xué)習(xí)現(xiàn)象，這是在對(duì)照條件下未觀察到的。進(jìn)一步的實(shí)驗(yàn)表明，閉環(huán)結(jié)構(gòu)化反饋在引發(fā)長(zhǎng)期學(xué)習(xí)中起著重要作用。DishBrain顯示出在稀疏的感官信息反饋下，出現(xiàn)了以目標(biāo)導(dǎo)向方式自組織活動(dòng)的能力（稱(chēng)之為人工生物智能），未來(lái)的應(yīng)用可能進(jìn)一步揭示與智能密切的細(xì)胞關(guān)聯(lián)。

準(zhǔn)確來(lái)說(shuō)，DishBrain(盤(pán)中大腦)是一個(gè)實(shí)時(shí)合成生物智能平臺(tái)，演示了生物神經(jīng)元通過(guò)調(diào)整放電活動(dòng)來(lái)進(jìn)行學(xué)習(xí)。在提供的模擬游戲世界中，當(dāng)提供簡(jiǎn)單的電信號(hào)輸入和電信號(hào)反饋時(shí)，它有能力學(xué)習(xí)執(zhí)行特定目標(biāo)任務(wù)。

• 隨著實(shí)驗(yàn)的進(jìn)行，如果沒(méi)有提供電信號(hào)反饋，將觀察不到明顯的表現(xiàn)改善；如果完整提供電信號(hào)反饋，將看到因?yàn)閷W(xué)習(xí)而得到的表現(xiàn)改善。
• 觀察到的人類(lèi)神經(jīng)元和老鼠神經(jīng)元均有學(xué)習(xí)能力，并且人類(lèi)神經(jīng)元的學(xué)習(xí)能力高于老鼠神經(jīng)元。
• 實(shí)驗(yàn)過(guò)程中觀察到神經(jīng)元放電活動(dòng)一直在變化，一開(kāi)始的游戲表現(xiàn)可能不太好，但隨著實(shí)驗(yàn)的進(jìn)行會(huì)越來(lái)越好。

基本原理介紹

合成生物智能SBI(Synthetic Biological Intelligence)：合成生物學(xué)與人工智能交叉領(lǐng)域，是未來(lái)腦科學(xué)發(fā)展一個(gè)可能大熱的風(fēng)口，這篇論文屬于SBI領(lǐng)域。

生物神經(jīng)網(wǎng)絡(luò)BNN(Biological Neuronal Network)：生物神經(jīng)網(wǎng)絡(luò)基于動(dòng)物神經(jīng)元發(fā)展，人工神經(jīng)網(wǎng)絡(luò)基于神經(jīng)元數(shù)學(xué)模型發(fā)展，兩者原理上存在較大差異。

生物智能主要分兩方面：體內(nèi)生物智能和體外生物智能。像腦機(jī)接口等等更多像體內(nèi)生物智能，生物神經(jīng)網(wǎng)絡(luò)主要存活在生物體內(nèi)；而合成生物智能更多探索體外生物智能，比如這篇文章就是體外培養(yǎng)生物神經(jīng)網(wǎng)絡(luò)來(lái)與計(jì)算機(jī)系統(tǒng)結(jié)合。

自由能原理（Free Energy Principle, FEP）是由卡爾·弗里斯頓（Karl Friston）提出的理論框架，它試圖解釋生物系統(tǒng)是如何維持其內(nèi)部穩(wěn)態(tài)并預(yù)測(cè)外部環(huán)境的。該理論的核心思想是，生物系統(tǒng)通過(guò)最小化其預(yù)測(cè)誤差（即觀察到的與預(yù)期的狀態(tài)之間的差異）來(lái)降低自由能，從而保持生存和繁衍。

自由能的概述

自由能原理認(rèn)為，所有生命系統(tǒng)都在不斷地試圖降低它們的自由能，以保持一種低熵狀態(tài)，即維持內(nèi)部穩(wěn)態(tài)。自由能可以被視為一個(gè)代理，用來(lái)衡量一個(gè)系統(tǒng)與它期望狀態(tài)之間的不匹配程度。當(dāng)系統(tǒng)能夠準(zhǔn)確預(yù)測(cè)其環(huán)境時(shí)，自由能就會(huì)降低。如果系統(tǒng)不能準(zhǔn)確預(yù)測(cè)，則需要通過(guò)學(xué)習(xí)或改變行為來(lái)減小預(yù)測(cè)誤差，從而降低自由能。

主動(dòng)推理理論

主動(dòng)推理（Active Inference）是自由能原理的一個(gè)重要組成部分，它關(guān)注的是生物系統(tǒng)如何通過(guò)行為來(lái)影響其周?chē)h(huán)境，以最小化預(yù)測(cè)誤差。主動(dòng)推理理論認(rèn)為，生物系統(tǒng)不僅被動(dòng)地適應(yīng)環(huán)境，而且還通過(guò)積極的行為來(lái)塑造環(huán)境，以使自身預(yù)測(cè)更加準(zhǔn)確。

主動(dòng)推理觀點(diǎn)

1. 預(yù)測(cè)編碼：生物系統(tǒng)通過(guò)構(gòu)建關(guān)于世界的內(nèi)部模型來(lái)進(jìn)行預(yù)測(cè)，并根據(jù)這些預(yù)測(cè)采取行動(dòng)。
2. 最小化預(yù)測(cè)誤差：生物系統(tǒng)通過(guò)感知輸入和主動(dòng)行為來(lái)最小化預(yù)測(cè)誤差，即觀察到的狀態(tài)與預(yù)測(cè)狀態(tài)之間的差異。
3. 感知行為的一致性：感知和行為被視為同一過(guò)程的不同方面，都是為了最小化自由能。
4. 行為選擇：行為的選擇是基于對(duì)未來(lái)狀態(tài)的預(yù)測(cè)來(lái)最小化未來(lái)自由能的期望值。

主動(dòng)推理應(yīng)用

主動(dòng)推理理論已被應(yīng)用于多個(gè)領(lǐng)域，包括認(rèn)知科學(xué)、心理學(xué)、神經(jīng)科學(xué)以及人工智能。它為理解生物系統(tǒng)如何進(jìn)行決策、規(guī)劃行為以及如何與環(huán)境互動(dòng)提供了理論基礎(chǔ)。

• 感知行為一致性：當(dāng)你伸手去拿一個(gè)杯子時(shí)，你的大腦會(huì)根據(jù)過(guò)去的經(jīng)歷預(yù)測(cè)杯子的位置和重量。如果預(yù)測(cè)與實(shí)際感受不符（比如杯子比預(yù)期輕），你會(huì)調(diào)整握力以減少預(yù)測(cè)誤差。
• 決策制定：在面對(duì)不確定情境時(shí)，生物體會(huì)基于其內(nèi)部模型對(duì)未來(lái)狀態(tài)進(jìn)行預(yù)測(cè)，并選擇能夠最大化降低未來(lái)自由能的行為路徑。

實(shí)驗(yàn)整體設(shè)計(jì)

神經(jīng)細(xì)胞獲取

要想有一個(gè)生物神經(jīng)網(wǎng)絡(luò)（BNN）芯片，第一步就是獲取很多的神經(jīng)細(xì)胞，論文里主要使用兩類(lèi)神經(jīng)細(xì)胞，即人類(lèi)神經(jīng)細(xì)胞和老鼠神經(jīng)細(xì)胞，那么要怎么獲得呢？

如果想要獲取的是人類(lèi)的神經(jīng)元細(xì)胞，那么需要從干細(xì)胞開(kāi)始培養(yǎng)，然后刺激干細(xì)胞分化成神經(jīng)細(xì)胞，干細(xì)胞分化成神經(jīng)細(xì)胞之后數(shù)量就會(huì)穩(wěn)定了，后續(xù)實(shí)驗(yàn)過(guò)程只需要給人類(lèi)神經(jīng)細(xì)胞提供營(yíng)養(yǎng)即可，整個(gè)神經(jīng)細(xì)胞的制備周期是30天。

如果使用老鼠的神經(jīng)細(xì)胞，那就比較簡(jiǎn)單了，沒(méi)有道德問(wèn)題，可以直接培養(yǎng)老鼠胚胎，然后把腦子摘出來(lái)，然后直接用就完事了，基本不需要培養(yǎng)，制備周期也短了很多。

左圖為人類(lèi)神經(jīng)細(xì)胞HCC，右圖為老鼠神經(jīng)細(xì)胞MCC。

智能芯片生態(tài)

有了神經(jīng)細(xì)胞之后，下一步就是把神經(jīng)細(xì)胞放到芯片上培養(yǎng)，繼續(xù)給神經(jīng)細(xì)胞提供養(yǎng)分。

可以看到，該智能系統(tǒng)有兩個(gè)子系統(tǒng)：細(xì)胞芯片系統(tǒng)HD-MEA Chip和計(jì)算機(jī)系統(tǒng)Pong，兩者通過(guò)物理線路進(jìn)行信息傳輸。

信息交互過(guò)程

先給出細(xì)胞芯片子系統(tǒng)的平面圖：

在圖片中，神經(jīng)細(xì)胞是均勻分布在芯片上面的，藍(lán)點(diǎn)代表電極，用于神經(jīng)細(xì)胞與計(jì)算機(jī)之間交換信息。明顯圖中存在上半，左下，右下三塊電極區(qū)域，上半電極區(qū)域是感知區(qū)，用于接收屏幕信息輸出（由此得到小球和平板的位置狀態(tài)）；左下和右下電極區(qū)域是運(yùn)動(dòng)區(qū)，用于輸出平板移動(dòng)信息，具體設(shè)置如下：

action1為向上運(yùn)動(dòng)，action為向下運(yùn)動(dòng)，左下電極區(qū)域得到一組向上運(yùn)動(dòng)和向下運(yùn)動(dòng)的信號(hào)，右下電極區(qū)域得到另一組向上運(yùn)動(dòng)和向下運(yùn)動(dòng)的信號(hào)，兩組數(shù)據(jù)求平均得到最終的運(yùn)動(dòng)控制信號(hào)。

實(shí)驗(yàn)過(guò)程分析

學(xué)習(xí)方法的原理特別簡(jiǎn)單，就是不停的讓這個(gè)生物芯片玩Pong這個(gè)游戲，并且在玩的好的時(shí)候獎(jiǎng)勵(lì)它，玩的不好（沒(méi)接住球）的時(shí)候懲罰他。

當(dāng)BNN犯了一個(gè)錯(cuò)誤的時(shí)候，比如沒(méi)有接到球的時(shí)候，就給他一些無(wú)法預(yù)測(cè)的電信號(hào)懲罰他（可能是隨機(jī)生成）；而當(dāng)BNN接住了球的時(shí)候，那應(yīng)該獎(jiǎng)勵(lì)他，就給他一些可以預(yù)測(cè)的電信號(hào)（可能是固定模式）。

相關(guān)參考資料

https://www.cell.com/neuron/pdfExtended/S0896-6273(22)00806-6
https://zhuanlan.zhihu.com/p/648547119
https://baijiahao.baidu.com/s?id=1746550954055561171&wfr=spider&for=pc