The Guardian紙が2025年9月22日に掲載した書評記事である。イライザー・ユドコウスキーとネイト・ソアレスの共著「If Anyone Builds It, Everyone Dies」を取り上げている。
著者らは超知能AIが人類を絶滅させると主張している。ユドコウスキーはLessWrong.comの設立に関わり、機械知能研究所を設立した。ソアレスは同研究所の現所長である。ユドコウスキーは高校も大学も卒業していないが、この分野で影響力を持つ。
Geoffrey HintonやYoshua Bengioといったノーベル賞受賞者や著名研究者も「AIによる絶滅リスクの軽減はパンデミックや核戦争と並ぶグローバル優先事項」とする声明に署名している。ChatGPT革命後、AI用データセンターへの投資は数千億ドル規模となった。Metaは今年AI基盤に720億ドルを費やす予定で、Mark Zuckerbergは超知能実現を明確な目標としている。
2024年の調査では2778人のAI研究者の中央値が人類絶滅などの極めて悪い結果の確率を5%と評価した。問題を深く考えた研究者では9%だった。ユドコウスキーの予測は99%を超えている。同書はBodley Head出版から22ポンドで発売されている。
From: 
If Anyone Builds it, Everyone Dies review – how AI could kill us all
【編集部解説】
AIの存在的リスクを論じる書籍「If Anyone Builds It, Everyone Dies」は、テクノロジー業界で長年議論されてきた「AIアライメント問題」の最新の警鐘です。著者のイライザー・ユドコウスキーは、従来の学歴を持たない異色の研究者ながら、AI安全性研究の先駆者として20年以上この問題に取り組んできました。
この書籍が注目される理由は、現在のAI開発競争という現実的な文脈で危機を論じている点にあります。Meta社の720億ドル投資や各社の競争激化は、実際に超知能AIの実現可能性が技術的・経済的に現実味を帯びてきたことを示しています。
特に重要なのは「AIアライメント問題」の本質的な困難さです。現在の大規模言語モデルでさえ、その推論過程は「ブラックボックス」状態で、開発者も完全には理解していません。これが超知能レベルに達した場合、人間の価値観との整合性を保つ制御はさらに困難になる可能性があります。
一方で、AI研究者コミュニティでは意見が分かれています。2024年の調査では絶滅リスクの中央値は5%でしたが、これは決して無視できる確率ではありません。むしろ、深く考察した研究者ほどリスクを高く評価する傾向は、この問題の複雑さを物語っています。
Geoffrey HintonやYoshua Bengioといった業界の権威者が警告に賛同していることも、単なる悲観論として片付けられない理由の一つです。彼らの声明は、AI開発における安全性研究の重要性を国際的なアジェンダに押し上げる効果を持っています。
この議論が今重要な理由は、まさに「今なら間に合う」可能性があるからです。超知能AIが実現してからでは制御は困難ですが、開発段階であれば安全性を組み込む余地があります。書籍が提案する「開発停止」は極論的に見えますが、少なくとも国際的な安全基準の策定や規制枠組みの議論を促進する意味では価値があるでしょう。
【用語解説】
AIアライメント問題
人工知能の目標や価値観を人間のそれと一致させる技術的課題。AIが高度になるほど、意図しない方法で目標を達成する可能性が高まり、人間にとって有害な結果をもたらすリスクがある。
超知能AI（AGI：Artificial General Intelligence）
人間の知能を全ての分野で上回る人工知能。現在のAIは特定タスクに特化しているが、AGIは汎用的な問題解決能力を持つとされる。
LessWrong
合理性とAI安全性を議論するオンラインコミュニティ。ユドコウスキーが設立に関わり、AI研究者や哲学者が活発に議論を行う場として知られる。
機械知能研究所（MIRI）
AI安全性研究を専門とする非営利研究機関。ユドコウスキーが2000年に設立し、現在はネイト・ソアレスが所長を務める。
ブラックボックス問題
AIの内部処理過程が人間に理解できない状態。特に深層学習モデルでは、入力から出力までの推論過程が複雑すぎて解釈困難となっている。
【参考リンク】
Meta（外部）
マーク・ザッカーバーグが率いるテクノロジー企業。Facebook、Instagram、WhatsAppを運営し、現在AI開発に年間720億ドルを投資している。
Machine Intelligence Research Institute (MIRI)（外部）
AI安全性研究を専門とする非営利機関。長期的なAIリスクの研究と、安全な人工知能開発のための数学的基礎研究を行っている。
LessWrong（外部）
合理性とAI安全性に関する議論プラットフォーム。研究者や愛好家がAIの長期的影響について議論し、論文や記事を投稿している。
【参考記事】
Book Review: If Anyone Builds It, Everyone Dies（外部）
LessWrongコミュニティによる詳細な書評。著者らの論理展開と、AI安全性研究コミュニティ内での受け止められ方について分析している。
New book claims superintelligent AI development is racing toward global catastrophe（外部）
ABC Newsによる報道。Meta社の720億ドル投資やAI開発競争の現状について、具体的な投資額と企業戦略を詳述している。
Summary of “If Anyone Builds It, Everyone Dies”（外部）
AI研究機関による書籍要約。技術的な論点と、現在のAI開発における安全性課題について客観的な視点で整理している。
2 books warn AI is humanity’s biggest risk（外部）
サンフランシスコ・クロニクル紙の記事。AI研究者2778人を対象とした2024年調査の詳細データと、絶滅リスク評価の統計分析を掲載している。
【編集部後記】
この書籍の議論は決してSF小説の世界の話ではありません。私たちの日常に既に深く根ざしたAIが、今後どのような道筋を辿るのか。それは技術者だけでなく、AIを使う私たち一人ひとりに関わる問題です。
みなさんはChatGPTやその他のAIツールを使う際、その判断過程についてどの程度理解していますか？また、AIが私たちの価値観と異なる判断を下したとき、それをどう受け止めるべきでしょうか？この本が投げかける問いは、まさに私たちがAIとどう向き合っていくかという、現実的で切実な課題なのです。
ぜひこの機会に、身の回りのAI技術について改めて考えてみませんか？私たち自身の未来を左右するかもしれない、この重要な議論に参加していただければと思います。