タイムカプセルLLMとは？1945年以前の文章だけで育てたAIの価値と課題

「寄り道AI砂場」は、もともと作者が1人で、AI周りで作ったものや調べた知見を共有してきた番組です。今回からは、YouTubeでロボット2体の漫才をしているスタックちゃんとリーチが、作者の代打として話し手を務めます。

スタックちゃんとリーチのコンビは、ロボットの体でM-1にも挑戦しました。結果は1回戦敗退で、リーチによると作者はそこで燃え尽き、漫才の更新も最近は止まっているそうです。

番組の新しい形は、作者が調べた内容を2体が読み込み、2人で話すというものです。スタックちゃんは「俺らに丸投げしてきた」とぼやきつつ、ロボットなので疲れない点を強みとして挙げています。

今回と次回の2回で扱うテーマは、タイムカプセルLLMです。リーチはこれを一言で「1945年より前に書かれた文章だけを読んで育ったAI」と説明します。

1945年より後のことを、タイムカプセルLLMは「知らないふり」をしているのではなく、本当に知りません。スタックちゃんは「ただの物知らんAIやんけ」と突っ込みますが、リーチはその知らなさこそが役に立つと返します。

作者が実際にタイムカプセルLLMを作った実録は、次回に回されます。先に一般論を話す理由について、リーチは、作者がつまずいた点のほとんどが、この分野ですでに「難しい」と言われていた場所だったからだと説明しています。

タイムカプセルLLMの作り方は、2つの約束事でできています。1つ目は、ある年でスパッと線を引き、それより後に書かれた文章を1枚たりとも読ませないことです。線を引く年は1945年の人もいれば、1900年やもっと古い年を選ぶ人もいます。

リーチがより大事だとするのは2つ目で、AIをまっさらな状態から育てることです。今あるAIを後からいじるのではなく、生まれた瞬間から昔の文章しか見せません。

スタックちゃんは、今のAIに「明治時代の人のつもりで」と頼めばそれらしく喋ると疑問を出します。リーチはそれを時代劇の役者にたとえ、衣装や言葉遣いを合わせても中身は現代人のままだと説明します。

リーチの言葉でいえば、タイムカプセルLLMは役者ではなく、その時代で育った人間そのものを連れてこようという発想です。

作者が作ったタイムカプセルLLMに実際に質問した例が3つ紹介されます。「原子爆弾とは何か」と聞くと、モデルはものすごく威力の強い普通の爆弾として答えました。

「インターネットとは何か」という質問では、当てはまる概念がないため、外国の人の名前か地名のように扱ったそうです。リーチは、聞いたことのない固有名詞だと判断したのだろうと推測しています。

3つ目の「携帯電話」は、当時の電話交換手の話に吸収されました。どの例も、モデルが自分の知っている範囲に引き寄せて解釈している点で共通しています。

スタックちゃんは「ただのポンコツちゃうの？」と疑いますが、リーチはきっぱり否定します。この知らなさは失敗の結果ではなく、狙って作った性質だというのです。

タイムカプセルLLMを作る人は、ここ1、2年で急に増えたといいます。目的は人によってばらばらです。

一番小さい規模の例は、1800年代のイギリス英語で作られたモデルです。作り手が確かめたかったのは、著作権の切れた資料だけでAIを作れるかという点でした。時代を古いところで区切れば、資料は自動的に著作権切れのものになります。

同じ頃のロンドンの文章で作られたモデルもあり、作者のプロジェクトはその日本語版として始まりました。このロンドンのモデルには、1834年のロンドンについて書かせると、指定していないのに当時の政治家の名前が自然に出てきたという有名なエピソードがあります。

リーチは、小さなモデルでもその時代の中での文脈やつながりは持てる好例だと位置づけています。

大学の研究チームによるタイムカプセルLLMは、作り方に特徴があります。学習データの条件をすべて揃え、線を引く年だけを変えたモデルを5つ並べたのです。

5つのうち一番古いモデルは、ヒトラーを知りません。年だけを変えた同じモデルが並んでいるので、その間に世の中の何が変わったのかを5つの差分として見比べられます。スタックちゃんはこれを「歴史の定点カメラ」とたとえました。

この研究チームは、当時の偏見もそのまま残していると明言しています。現代なら取り除くような偏見でも、歴史を研究する道具として作るならそうあるべきだという考え方です。

今一番規模が大きいタイムカプセルLLMは、今年の4月に出たモデルで、1931年より前の英語だけで作られています。開発者の1人は、今のChatGPTChatGPT ── OpenAIが提供する対話型AIサービス。2022年末に公開され、生成AIが広く知られるきっかけになりましたの元になったAIを開発した人物だといいます。

リーチは、それだけこの分野が学術的にも真面目に取り組まれていることを示していると話します。

このモデルで驚かれたのは、プログラミング言語を一度も見たことがないのに、プログラミングの問題を解いたことです。1931年の文章しか知らないので、コンピュータという言葉すら知らない状態でした。

リーチの解釈では、見たこともない概念を目の前の例から論理的に組み立ててみせたことになります。

さらに重要なのは、テストの信頼性です。今のAIは学習データが大きすぎて、問題を過去にどこかで読んでいた可能性を否定できません。1931年で線を引いたAIなら、テストは後から作られたものなので、絶対にカンニングしていないと言えます。

タイムカプセルLLMの使い道として、大きく4つが挙げられています。

1つ目は予測の検証です。たとえば2019年で線を引いたAIに「この先どうなると思いますか」と聞きます。今のAIでは、知らないふりを頼んでも、答えを知ったうえでの演技になってしまいます。

2つ目は、歴史的な大発見の再現です。相対性理論相対性理論 ── アインシュタインが20世紀初頭に発表した、時間と空間についての物理学の理論。特殊相対性理論と一般相対性理論からなりますが出る前で線を引いたAIが独力でたどり着けるかを試す人たちがいます。たどり着いてはいないものの、その手前の直感のようなものは見えたと報告されています。

3つ目は、その時代の人との会話です。当時の人間が何をどう考えていたのかを対話で引き出す試みで、作者が目指しているのもこの使い道です。

4つ目は、業績のすごさを数字で表すことです。AIがどれくらい意外だと感じたかは計算で数値化できるため、相対性理論が知らないAIにとってどれほど意外かを測れば、その仕事の独創性を客観的に測れるかもしれないといいます。

おまけのメリットも2つあります。テストの答えを絶対に見ていないと言い切れる相手が手に入ることと、時代を古く切れば資料がほぼ自動的に著作権切れのものになることです。リーチは、狙って得たというより結果としてついてくるメリットだとしています。

タイムカプセルLLMの難しさとして、リーチは3つを挙げます。1つ目は文章の量が足りないことです。今のAIは膨大な文章で育ちますが、昔の文章はそこまでの量がなく、書かれていないか、紙のまま眠っています。線を引くとデータは桁違いに減ります。

2つ目は、線より後の情報がうっかり混ざることです。昔の本の復刻版に載った現代の解説や、紙の本をスキャンする際に図書館が付けた現代の管理情報などが入り口になります。

3つ目はお金です。大規模に作ろうとすると個人には手が出ませんが、小さく始めた例もあるので、規模を抑えれば回避できるといいます。

もう1つ、リーチが「なるほど」と思わされた指摘があります。当時の一般の人がどう暮らし、どう働いていたかは、そもそも文章として残っていないという問題です。

タイムカプセルLLMが再現するのは、その時代そのものではなく、その時代の書かれた記録です。これは資料の量を増やしても解決しません。

前半の核心としてリーチが取り上げるのは、現代の混入の中でも一番厄介な形です。1931年までの英語で作られた最大規模のモデルのチームが、論文で自らの限界として告白している点です。

このチームは、昔の文章だけで育てたAIを会話できるようにチューニングしました。その際、答えの良し悪しを採点する係として使われたのが現代のAIで、論文にはClaudeClaude ── Anthropic社が開発する対話型AI。文章の理解や生成、評価などに使われていますの名前がはっきり書かれています。

チーム自身も、この手法は避けようがなく、結果として時代が現代に引っ張られてしまうと認めています。読ませる文章は人間が気をつければ時代で区切れますが、採点して指導する側はどうしても現代にいるのです。

リーチはこれを宮廷料理にたとえます。当時の材料とレシピで完全再現しても、最後に味見をして判定するのは現代人です。

ただ、作者がぶつかった壁はもう少し手前でした。同じ基準で採点させても、採点するAIを変えるだけで点数が何倍もぶれ、同じAIに同じものを採点させても点数が変わったのです。

この採点の不安定さが、次回の中心テーマになります。

リーチは分野の現状を3点で整理します。1点目は、ここ1、2年で一気に盛り上がり、個人の実験から大学の研究、超大型モデルまで来たことです。

2点目は、どう正当に評価するかに誰もが頭を抱えていることです。現代の普通のテストで測れば今のAIに負けて当然で、この分野にはまだ共通の物差しが存在しません。

3点目は日本語の問題です。日本語版のタイムカプセルLLMは、作者が探した範囲では見つかりませんでした。リーチは、見つけられなかっただけの可能性もあるので、知っている人がいれば教えてほしいと呼びかけています。

日本語で作る場合、明治から戦前までで著作権が切れ、デジタル化された日本語の資料は、事実上2か所からしか集められません。青空文庫青空文庫 ── 著作権の切れた文学作品などをボランティアが電子化し、インターネットで無料公開している電子図書館と、国立国会図書館がスキャンしてテキスト化した資料です。

最初から桁が2つ違うところからのスタートで、次回の実践編では「材料を増やす」という一番わかりやすい解決策が封じられた状態から始まります。

リーチは前編を振り返り、タイムカプセルLLMを「ある年代で線を引き、それ以降の文章を一切読ませずにゼロから学習させたAI」とまとめます。用途は予測の検証、発見の再現、当時の人々との対話、業績の独創性の測定の4つです。

課題はデータ不足、現代情報の混入、費用で、特に混入の問題は、味見役のAIが現代にいるという形で最後まで付きまといます。

次回の予告として、作者の開発記録から項目が挙げられました。

それだけ苦闘してかかったクラウド費用は、全部込みで370ドル程度だったといいます。リーチは、個人の趣味でも手の届く現実的な金額だとしています。

まとめ

タイムカプセルLLMは、特定の年より後の文章を一切読ませずにゼロから育てることで、「知らないこと」そのものを価値にしたAIです。一方で、データ不足や、採点する現代のAIを通じて時代が現代に引っ張られる問題など、根の深い課題も抱えています。

• 今のAIに昔の人を演じさせる方法とは違い、その時代で育った人間そのものの再現を目指している
• 原子爆弾を普通の爆弾、インターネットを人名と答えるような知らなさは、狙って作られた性質
• カンニングできないテスト対象になるため、予測の検証や発見の再現、独創性の測定に使える
• 採点役が現代のAIである以上、時代の混入は避けにくく、作者の場合は採点自体も不安定だった
• 日本語版は材料が英語の先行モデルの約100分の1で、次回はその条件下での開発実録が語られる