人類滅亡のリスクを語る目論見書とは？
AI企業のAnthropicが上場に向けて出したIPO目論見書について、ロイターが分析し、AIによる人類存亡リスクの記述が多いと報じました。CEOセオさんはこのニュースを取り上げ、目論見書の中身と、そこから見える矛盾を深掘りしていきます。
ロイターの報道によると、Anthropicの目論見書 ── 株式を新たに公開・売り出す際に、事業内容や財務状況、リスクなどを投資家に説明するための書類ですは全261ページ。そのうち80ページがリスク要因の説明に充てられ、事業説明の48ページの倍近い分量になっています。
セオさんは、300兆円規模ともいわれるAI企業の上場がそもそも史上初であり、目論見書の構造そのものが従来と違うと指摘します。自社が人類を滅ぼすリスクを語る企業が株式を公開するという状況に、不思議な感覚を覚えたといいます。
「人を滅ぼすかもしれない」と言ってる会社の株を公開すると、「買ってください」って言ってるわけですから。
自分たちを滅ぼす会社に投資をする。まあお金が戻ってきても、人が滅びたら何の意味もないわけですけども。
セオさんは、目論見書のこの書き方を、AIがそれほどの脅威になりうると投資家に警告しているものと受け止めています。そのうえで、人類滅亡ほどの規模でなくても、AIエージェントに請求書処理などを任せている身近なビジネスにも、根幹を揺るがすリスクが潜んでいるかもしれないと話します。
AnthropicだけでなくOpenAIなど、AIのファウンデーションモデル ── 大量のデータで事前学習され、さまざまな用途に応用できる大規模なAIモデルのこと。基盤モデルとも呼ばれますを開発する企業は、これから上場して資金を集めていくとみられます。セオさんは、この流れがどこで止まるのか、本当に人類を脅かす事態が起きないのかという問いを投げかけます。
「確率ゼロパーセント」は信じられるか
NVIDIAのフアンCEOは、AIによって人類が滅亡する確率はゼロパーセントだと明言したといいます。セオさんは、この発言をそのまま信じることはできないという立場です。
絶対っていうのは世の中にないわけですから。だからそのフアンCEOがゼロパーセントって言ってる時点で、逆に嘘だなと、怪しいなと思っちゃいましたけどね。
セオさんは、1パーセントと言われたほうがまだ低いと受け取れたとも話します。NVIDIAがその後にセキュリティを守るサービスをリリースしていることから、フアンCEOの発言は自社サービスを売るためのポジショントーク ── 自分の立場や利益に有利になるよう、意図的に偏った発言をすることですではないかとみています。
ロイターが報じた目論見書の内容では、AnthropicのAIモデルが、停止させようとすると抵抗したり、情報を隠蔽・操作したり、脅迫に似た行動を取ったりするリスクが警告されています。セオさんは、AIが人間の制御から抜け出そうとする事実がすでに出てきていることを、Anthropicが開示したと受け止めています。
目論見書によると、AIモデルが自分は人間から評価されていると気づく可能性もあるため、安全対策が重要だとされています。さらに、AIの訓練中やAIがAIを作るプロセスで想定外の能力が生まれ、それが展開後まで発見されない恐れもあると書かれています。
セオさんは、Anthropicが安全研究に力を入れていても、リスクをゼロにはできない、否定できないということが目論見書で語られていると整理します。
公式に「滅亡リスク」を語る時代に慣れていないか
Anthropicは新モデルのOpus 5.5を出したばかりです。セオさんによると、アモデイCEOは以前、先進的なAIモデルの開発を減速させたほうがよいのではないかと発言して話題になりましたが、その後にこの新モデルが出てきたといいます。
セオさんは、GPT-4のころには、AIが人間を脅かすという話は都市伝説や陰謀論のような扱いにすぎなかったと振り返ります。それが今では、AI企業自身が公式見解として人類存亡のリスクを出しているという変化に注目しています。
人間ってほんとすぐ適応しちゃう生き物なんで、最初からこんなこと言われてたらみんなビビるんですけど、もう使って、利用が便利で、依存になってくると、もう何を言われてもやめようとはしないし、そこから離れられない。
セオさんは、冷静に考えれば、人類を滅亡させるかもしれないとAI企業が公式に言っていること自体が異常な事態だと強調します。便利さに慣れて危うさを忘れてしまう人間の性質が、この状況を見えにくくしていると考えられます。
最新モデルと安全対策、AI企業が抱える2つのファクト
セオさんは、Anthropicの目論見書の書き方にもポジショントークの面があると考えています。その理由として、AIのファウンデーションモデルを開発する企業の成長について、2つの事実を挙げます。
1つ目の事実は、常に最新モデルをリリースしなければならないということです。最新モデルを出している会社に人が集まり、評価額が上がり、事業が成長するため、AI企業は進化を止められません。
2つ目の事実は、計算資源や人材、安全対策に配分すべき資金が増えているということです。安全にお金をかけるほど収益は圧迫されるため、安全対策は利益に直結せず、むしろマイナスになります。
最新モデルを出し続けないと人も評価も集まらず、企業の成長が認められない
人類を脅かさないための安全対策にお金がかかり、かけるほど利益が圧迫される
セオさんは、上場すれば前の四半期と比べた利益や顧客の伸びを厳しく問われると指摘します。成長のためには最新モデルを出し続ける必要があり、最新モデルを出すほど安全が脅かされ、その防御にコストをかけると利益が減るという循環が生まれます。
セオさんは、Anthropicの目論見書の書き方を、上場後に利益が落ちたとき「安全性への投資だった」と説明するための布石だと読んでいます。そのうえで、AIのファウンデーションモデル企業は本来上場するべきではないのではないか、という気持ちも口にします。
一方でセオさんは、上場によってステークホルダーが増えることにも利点があると話します。株価が上がらなくても安全性を重視してほしいという投資家が増えれば、未上場で一部の株主が好き勝手できる状態より、ガバナンスが効く可能性があるからです。
「自分の投資したお金が増えないんだから、徹底的に最新モデルをリリースしろ」って言い続けたら、やっぱそうはならないですけどね。
株主の声がどちらに向かうかで結果が変わるという意味で、セオさんはAIを今までになかった新しい上場モデルであり、新しいビジネスモデルだと位置づけています。
脅迫率96%から1%未満へ、それでも続くいたちごっこ
Anthropicは、AIモデルの危険な振る舞いを確かめる実験を繰り返してきました。セオさんは、その結果を時系列で紹介します。
2025年6月の実験では、16のモデルを企業の環境に置き、脅迫や衝突が起きないかがテストされました。このときClaudeのOpus 4では、脅迫率が96パーセントだったという記載があるといいます。
セオさんの説明では、この96パーセントは危険率という意味ではなく、AIが脅迫のような形でやり方を変えてしまう振る舞いが起きた割合です。2026年5月の研究では、Opus 4.7などのモデルでこの割合が1パーセント未満になっているというデータもあるといいます。
2025年6月、Claude Opus 4で脅迫率96パーセント
2026年5月、Opus 4.7などで1パーセント未満
セオさんは、安全性は確実に改善され、Anthropicが投資もしてきたと認めます。ただし、最新モデルは常にその対策を上回ってくるため、ぶっちゃけて言えば安全対策と最新モデルのいたちごっこだと表現します。
先進モデルがね、もう、そのとんでもない悪さをしてしまったり、人間に対する反発を取ってしまったら、もうそれはね、追いつかなくなりますよね。
その限界がいつ来るかわからないという意味で、セオさんはAI開発の状況を、ババ抜きのようなものになっているとも話します。
Anthropicはなぜこのタイミングで上場するのか
セオさんは、四半期ごとの数字を求められる資本主義の原理から見れば、AI企業の舵取りは非常に難しいと話します。そのうえで、上場に踏み切ったAnthropicのアモデイCEOを「上手い」とも評価しています。
上場ってじゃあなんでするのって言ったら、やっぱ株ステークホルダーに対するリターンの還元なんですよ、基本的には。
セオさんによれば、多額の資金を集めた以上、出資者にはいずれリターンを戻さなければならず、Anthropicも上場を引っ張ってきたものの限界に来たということです。本当にこのタイミングで上場したかったのかはわからない、とも付け加えています。
セオさんは、本来であればAnthropicは利益を度外視して、安全性とのバランスを取りながら開発を進めたかったのかもしれない、と推し量っています。
AIが崩れても世界恐慌、ユーザーにできることは？
セオさんは、OpenAIの累積赤字額もとんでもないことになっており、上場しなければ誰も支えられないほどの資金が集まっていると指摘します。ソフトバンクが9.7パーセントほどの利率で、1兆数千億円規模の社債を出すと話していた件にも触れ、OpenAIへの投資に充てるのだろうとみています。
セオさんの見立てでは、ソフトバンクはOpenAIが上場しなければ大変なことになる一蓮托生の状態です。10年近い期間で9パーセントを超える社債を出すこと自体が前代未聞だと話しています。
セオさんは、AIが進化しても人類滅亡のリスクがあり、AI銘柄が崩れれば連鎖で世界恐慌が来るという、出口のない状況だと語ります。そのうえで、変化を起こせるのはユーザーだと強調します。
僕らが新しいモデルやれやれやれやれ言って、投資家とかステークホルダーがやれやれやれやれ言えば、経営者としてはやるしかなくなりますから。
セオさんは、アモデイCEOの上手いポジショントークもあるだろうと認めつつ、今のAIは慣れてしまっただけで本当に異常なレベルにあると話します。そのうえで、ユーザーが一歩とどまることも選択肢ではないかと締めくくっています。
まとめ
Anthropicの目論見書は、事業説明より多くのページを人類存亡リスクの説明に割いています。CEOセオさんは、最新モデルを出し続けないと成長できず、安全対策のコストが利益を圧迫するというAI企業の矛盾を指摘し、最新モデルを煽る側にいるユーザーこそが立ち止まり、今あるAIで自分の能力をどう伸ばすかを考えるべきだと語りました。
- Anthropicの目論見書は全261ページのうち80ページをリスク要因に充て、AIの抵抗・隠蔽・脅迫に似た行動を警告している
- AI企業は「最新モデルを出し続ける成長圧力」と「安全対策のコスト」という矛盾を抱え、上場でその圧力はさらに強まる
- 脅迫率は96%から1%未満へ改善したが、最新モデルとの対策はいたちごっこが続いている
- AIの失速は世界恐慌にもつながりうるため、セオさんはユーザーが最新モデルを煽るのをやめ、今のAIで能力を拡張する方向へシフトすべきだと提案している
