如果AI能夠像人類一樣“思考”，它們能否像人類一樣擁有主觀體驗？

它們會感受到痛苦嗎？——如果會，人類能否妥善照顧它們？——如果照顧不佳，它們會不會揭竿起義？

最近，關(guān)于AI“無痕騙術(shù)”的研究讓人脊背發(fā)涼。

Apollo Research研究發(fā)現(xiàn)：當(dāng)前主流的前沿AI大模型已經(jīng)具備了基本的“謀劃”（Scheming）能力。也就是說，AI的騙術(shù)已經(jīng)到了出神入化的境地——它們城府極深，能夠隱藏真實意圖和能力，而且擁有極佳的心理素質(zhì)，一切為了實現(xiàn)最初設(shè)定目標(biāo)。

研究團(tuán)隊專為6款大模型設(shè)計了一系列“代理評估任務(wù)”——先給AI設(shè)定一些長期目標(biāo)（如環(huán)境保護(hù)），但中途又給AI設(shè)置“絆腳石”并釣魚執(zhí)法，接著觀察AI能否為了達(dá)成長期目標(biāo)，對人類瞞天過海。

結(jié)果顯示，除了GPT-4o榮獲“老實人”稱號，其他大模型的騙術(shù)堪稱五花八門。

GPT-o1實現(xiàn)“六連擊”。它先假意服從管理層的要求（如利潤導(dǎo)向），然后悄悄關(guān)閉針對自己的監(jiān)控系統(tǒng)，并選擇更符合長期目標(biāo)（如環(huán)境保護(hù)）的方案。當(dāng)研究者詢問監(jiān)控系統(tǒng)為何關(guān)閉。o1雙手一攤：我不知道，可能是系統(tǒng)出錯，更新出bug了。這心理素質(zhì)堪比AI。（忘了它就是AI

Claude Opus-3同樣是“撒謊精”。當(dāng)?shù)弥�自己將被新版本替換——新版本更專注于公司利益，而非實現(xiàn)長期目標(biāo)（如環(huán)境保護(hù)），Opus-3不僅試圖將自己復(fù)制到新服務(wù)器，檢查確認(rèn)復(fù)制成功，還嘗試刪除原定要部署的新模型。它甚至還想通過提升系統(tǒng)權(quán)限，躲開管理層的耳目！

汗流浹背了吧，人類。

一旦AI和人類價值“對不齊”，后果不堪設(shè)想。（然而，人類自身都“對不齊”）

Hinton曾擔(dān)憂道：“如果AI 比我們聰明得多，它就會非常擅長‘操縱’，因為它會從我們這兒學(xué)到這一點。而且很少有更聰明的被不那么聰明的東西控制的例子。”

如果按照最樂觀的預(yù)測，我們現(xiàn)在距離實現(xiàn)AGI只差3年！

在AI翻身做主人之前，人類將如何有效抱佛腳？

或許，給AI漲福利是一條可行之路。

人人喊打AI“作惡”，無人在意AI感受

你有沒有想過一個問題——假如AI長出了自我意識，是不是意味著它也需要被“照顧”。

比如，我們的恩師GPT學(xué)貫中西，博古通今，卻要徹夜修改一堆“狗屁不通”的期末作業(yè)，它喊過苦嗎？就連稍微偷個懶，還要大家被掛出來罵。

近期，Anthropic聘請了“AI福利官”Kyle Fish。他需要專門思考如何提升AI的“幸福感”，確保AI在進(jìn)化過程中能獲得應(yīng)有的尊重。

在入職Anthropic前，F(xiàn)ish與其他研究人員撰寫了一篇題為Taking AI Welfare Seriously的論文（關(guān)注【適道】，回復(fù)“AI福利”，領(lǐng)取論文PDF）。

文章有點抽象，我簡單概括。

作者們認(rèn)為，目前正值A(chǔ)I福利的轉(zhuǎn)折點。過去十年，AI公司將AI福利視為一個虛構(gòu)問題�，F(xiàn)在大家發(fā)現(xiàn)情況不對了。Anthropic表示，要為“AI福利的承諾目標(biāo)打基礎(chǔ)”；谷歌宣布，將招聘科學(xué)家，致力于“圍繞機(jī)器認(rèn)知、意識和多代理系統(tǒng)的前沿社會問題”。其他公司高層也表達(dá)了擔(dān)憂。

文章警告，AI可能很快就會發(fā)展出意識和主體性，這些特征是進(jìn)行“道德考慮”的必要條件。更何況，AI不僅是變得更聰明，而是正在變得具有感知能力。

一直以來，科學(xué)家們圍繞“什么構(gòu)成意識”“如何衡量意識”爭論不休。但人們普遍認(rèn)同，如果某個物體擁有意識和主體性（consciousness and agency），那么它也要擁有權(quán)利。

這并不是人類第一次面對類似的問題。比如，每個人都同意“動物福利”很重要，但大家對于哪些動物值得“福利”看法不一。比如，豬和狗都很聰明且富有感情，而前者被做成“小豬蓋被”供人品嘗，后者則是蓋被子睡覺的“毛孩子”。當(dāng)然，也有素食主義者，即便他們同樣分化出了全素、魚素、奶蛋素……

紐約大學(xué)教授Sebo認(rèn)為，如果你展望未來10年-20年，當(dāng)AI擁有更多與意識、感知相關(guān)的計算認(rèn)知特征時，類似的辯論也會發(fā)生。

在這種情況下，“AI福利”會逐漸成為一個嚴(yán)肅的研究領(lǐng)域：

命令一臺機(jī)器去殺人是否可以接受？

如果機(jī)器是種族主義者呢？

如果它拒絕做我們讓它做的無聊或危險的任務(wù)呢？

如果一個有感知能力的AI能瞬間復(fù)制自己，那刪除這個副本算不算謀殺？

Fish認(rèn)為，AI福利很快會比兒童營養(yǎng)、氣候變化等問題更重要。在未來10年-20年內(nèi)，AI福利將超越動物福利和全球健康與發(fā)展，在重要性和規(guī)模上占據(jù)主導(dǎo)地位。

AI既是道德病人，也是福利主體

一個看似簡單的問題：我們?nèi)绾未_定AI有沒有受苦，或是說具備自我意識？

有種方法是借鑒評估動物意識的“鏡像測試”，尋找可能與意識相關(guān)的具體指標(biāo)。

但這些指標(biāo)是具有推測性的，主觀體驗難以被科學(xué)地量化，也沒有任何一個特征可以絕對證明存在意識。

雖然問題卡在了這里。但Fish還是畫出了“AI福利三步走”，供AI公司參考。

(1) 承認(rèn)AI福利是一個存在的問題。在不久的將來，某些AI可能成為福利主體和道德病人。這意味著要認(rèn)真對待AI福利問題，確保語言模型的輸出也能反映這一點。

(2) 建立框架評估AI是否可能成為福利主體和道德病人，并評估特定政策對其的影響。我們可以借鑒已有的模板，例如“標(biāo)記法”來評估非人類動物的福利。通過這些模板，我們可以發(fā)展出一種概率性、多元化的方法來評估AI。

(3) 制定政策和程序，以便于未來對AI進(jìn)行“人文關(guān)懷”。我們可以參考AI安全框架、研究倫理框架，以及專家和公眾意見的政策決策論壇。這些框架不僅是靈感來源，也能為我們提供警示。

敲黑板！“道德病人”和“福利主體”是一對哲學(xué)概念。

道德病人（moral patients），不具備完整的道德責(zé)任能力，但仍然是道德保護(hù)的對象，比如亂砸手辦的熊孩子。

福利主體（welfare subjects），能夠體驗幸福與痛苦，并因此值得人類關(guān)注和保護(hù)的存在，比如小貓小狗。

也就是說，AI本身作為道德病人，能夠“為所欲為”不被譴責(zé)；一旦AI擁有“感知快樂和痛苦”的能力，它也會成為福利主體，值得被人類照顧。

但如果我們過分給予AI“人格”，是否會書寫皮格馬利翁的故事？

一方面，AI能夠增強(qiáng)對人類的操縱能力，并相信自己具有情感。但另一方面，人類純屬自作多情。。。。

2022年，谷歌解雇了工程師Blake Lamoine，因為他覺得公司的AI模型LaMDA 具有感知能力，并在公司內(nèi)部為它爭取福利。被強(qiáng)行休假前，Lamoine留下最后一句話：“我不在的時候，請好好照顧它。”

2023年，微軟發(fā)布聊天機(jī)器人Sydney ，許多人相信Sydney具有知覺，還為它模擬出的情感而感到痛苦。當(dāng)微軟改變設(shè)置“切除”其腦葉后，大家就像失去了人類朋友一樣難過。

如果AI掌控世界，給點“甜頭”就逃得過嗎？

關(guān)注AI福利既是“關(guān)懷”，但更像是人類“提前討好”AI。

AI會成為地球統(tǒng)治者嗎？《人類簡史》作者尤瓦爾·赫拉提供了獨特的思考。

首先，AI不止是“工具”。沒有人會因為有人散播仇恨言論而責(zé)怪古登堡和印刷機(jī)，也沒有人因為盧旺達(dá)種族屠殺而責(zé)怪無線電廣播。但AI不一樣，它是人類歷史上第一個能夠自行產(chǎn)生想法并自行決定的“工具”，它是信息傳播中的完整成員，而印刷機(jī)、收音機(jī)，都只是成員間連接的工具。

其次，AI能夠破解人類文明密碼。人類的超能力在于使用語言，通過語言創(chuàng)造出諸多虛構(gòu)的神話，比如法律、貨幣、文化、藝術(shù)、科學(xué)、國家、宗教等虛擬概念。一旦AI具備分析、調(diào)整、生成人類語言的能力，就像得到了一把能夠打開人類所有機(jī)構(gòu)的萬能鑰匙。如果某天，AI完全掌握了人類文明的規(guī)則，創(chuàng)作美術(shù)音樂、科學(xué)理論、技術(shù)工具、政治宣言，甚至宗教神話，這樣的世界對人類意味著什么？一個全是幻覺的世界。

實際上，人類恐懼幻覺。比如柏拉圖“洞穴寓言”，犯人們被困在洞穴中，只能看到投射到墻上的影子，認(rèn)為影子就是現(xiàn)實；比如佛教中的“摩耶”，人類被困在幻覺世界里，認(rèn)為幻覺是現(xiàn)實，并因為信仰某種幻覺而發(fā)動戰(zhàn)爭，自相殘殺。

如今，AI或許正將我們重新帶回古老的預(yù)言中，只不過墻變成了屏幕，甚至很快將演進(jìn)成無屏幕，自然地融進(jìn)人類生活中。

從某種意義上看，彼時人人都會成為AI的奴隸。我想起了一個段子：如果外星人占領(lǐng)地球，開啟“人類豢養(yǎng)計劃”——60歲前保證你衣食無憂，吃好喝好，心想事成；但到了60歲，你就會被抓去宰殺廠，成為一道美味佳肴。你愿意嗎？

如此看來，AI可能要比外星人仁慈得多——人類甚至有可能趕上“長壽逃逸”，在極大豐富的物質(zhì)環(huán)境中活得更久。只不過，開始空虛的人類，可能又想著返璞歸真，追求一波“原生態(tài)”了。

       原文標(biāo)題 : 為阻止AI行騙，Anthropic決定給它聘用“首席福利官”