「畑とRUNと音楽と」 読書メモ ＜プラスアルファ＞

トム・チヴァース（樋口武志・訳）　＜飛鳥新社・2021.6.1＞

　合理主義者（Rationalist）と呼ばれる人々が主張している、AI（人工知能、Artificial Intelligence）が人類を滅ぼすリスクについて、著者はその中心人物たちや批判者のインタビューによって、その信頼度を判断しようとした。
　合理主義者によれば、今世紀中にAIが人間レベルに到達する（シンギュラリティ）と多くの人が考えている、という。もしそうなればAIは瞬く間に人間の知能を遥かに超え、人間は神になるか（ハラリが「ホモ・デウス」に記したように）、さもなくば人間はAIによって滅亡する、と彼らは考えており、後者になるリスクは無視できないほど高い、と主張している。滅亡の原因はAIが人間を憎むからではなく、目的のために人間の常識外の行動をするから。さらに彼らは、人間は老化で死ぬことがなくなり、意識をコンピュータにアップロードでき、居住可能な星を求めて宇宙に出て行くようになることも、そう先のことではない、と予測しているそうだ。
　「合理主義者たちはポリアモリー（複数恋愛）の傾向が高く、難解な用語を使い、変わった暮らしや行動をする、変わった集団」と言われているそうで、そのために彼らの主張の信頼度は低く見られることもあり、またシンギュラリティの実現に懐疑的なAIの専門家の意見も紹介している。結論として、著者が合理主義者たちが考えている「AIが人類を滅ぼすリスク」に対して否定的になることはないが、彼らほど深刻に考えていないようだ。
　新井紀子の本に納得して、まだAIは「シンギュラリティ」の方向に進んでいない、と考えるようになった私には、合理主義者たちの主張はいずれも信じがたいが、単に楽観バイアスがかかっているのかも知れない。とは言え今のところ、少なくとも私が生きているうちに（平均余命であと１６年）シンギュラリティの気配でも感じられるような世界が訪れるとは到底思えないし、身体と脳との相互作用を無視した「意識」の理解では（ダマシオの主張に賛同する私としては）、意識のアップロードは起こり得ないように思える。ともかく、合理主義者は非常に「賢い」人達だそうなので、私がまだ理解していない思考をしているのだろう。
　全てを「合理的」に考えようとする彼らは、効果的利他主義に賛同しており、中には最も利他的に行動する方法として、ウォール街で働いて高給を稼ぎ、それを費用対効果の最も高い団体に寄付する活動をしている人もいるらしい。

本に登場した合理主義者たち
　エリエゼル・ユドカウスキー：　運動の先駆者、主導者。２０代半ばでブログに大量に書いた”The Sequence” と呼ばれる文章が聖典とされる。変人で、直接のインタビューはできない。
　ニック・ボストロム：「スーパーインテリジェンス　超絶AIと人類の命運」の著者。
　ロブ・ベンシンガー：　ユドカウスキーの代弁者。　
　アナ・サラモン：　応用合理性センター（CFAR, Center for Applied Rationality）の会長および共同創設者。CFAR は MIRI（機械知能研究所 Machine Intelligence Research Institute）と並んで、合理主義者コミュニティと現実世界との接点。いずれもカリフォルニア大学バークレー校の近くにある。