1945年以前の文章だけで育てた日本語AI。タイムカプセルLLMの10の失敗

タイムカプセルLLMとは、ある年で線を引き、それより後に書かれた文章を一切読ませずに、まっさらな状態から育てたAIのことです。今回の作者は線を1945年に引いたため、このAIは戦後のことを何も知りません。

前編の最後には、昔の料理を当時の材料で当時の通りに再現しても、味見をするのは現代人だという話が出ていました。後編は、作者がこのAIを実際に日本語で作ってみた話です。

リーチ先輩によれば、大きな失敗だけで10件あるといいます。紹介の前に確認されたのが、作者の目的でした。

リーチ先輩は、この目的を「最後に聞いてくる」伏線として覚えておくよう念を押しています。

1件目の失敗は、1945年という線をどう保証するかでした。最初の方針は、書いた人が亡くなった年で区切るというものです。

ところが、たとえば1955年に亡くなった人は戦後の10年間にも文章を書いています。没年で区切ると、その戦後の作品まで一緒に入ってきてしまいます。

作者が本当に縛りたかったのは「いつ亡くなったか」ではなく「いつ書かれたか」でした。そこで判定のルールを3段階に直しています。

この問題に気づかなかった場合、戦後の文章を読んだAIが戦前の人のふりをすることになっていた、とリーチ先輩は説明しています。

2件目の失敗は、集めた資料の掃除です。資料は紙をスキャンして文字にしたものなので、崩れたページが混ざります。一番多かったのがふりがなでした。

縦書きの横に小さく振られたふりがなを、機械が本文と同じ扱いで読んでしまい、読めない文字列になります。そこで作者は「かなの割合が高く、句点が少ないページは崩れている」と見なすルールを作りました。

このルールは見本で試すと10件中10件正しく判定できました。ところがその後、200ページを人間が全部読んで確かめると、崩れていた14ページのうち、ルールで捕まったものは1件もありませんでした。

3件目は、ようやく完成したAIに喋らせてみた話です。前編では、「携帯電話とは」と聞いたら電話交換の話になったと紹介されていました。

その答えの中身は、「ウォータースイッチ局」や「アースティングハウス」といった機械の名前がいくつも出てくるものでした。つなぎ方が2種類あり、後者のほうが安くて部屋も混み合わない、という比較までしてきます。

AIは当時の技術文の型を借りて、それらしい言葉をでっち上げていたのです。肝心の携帯電話の話は、最後まで一度も出てきませんでした。

4件目は、作者にとって一番印象に残った失敗です。作者が「明治45年、東京の街は、」と書き出しを与えると、AIは東京の発展の話から、今日の東京市を建設した功労者として渋沢栄一翁の名前を挙げました。

続けてAIは、渋沢栄一が日本銀行総裁として名高い故小松原英太郎氏の長男で、明治13年2月に岡山県で生まれた、と年月まで添えて書きます。

リーチ先輩によれば、渋沢栄一が生まれたのは1840年で、場所は今の埼玉県深谷市です。父親も別人で、小松原英太郎という人物は日本銀行の総裁ではありません。合っていたのは名前だけでした。

問題は、この答えがそのとき出た候補の中で一番滑らかだったことです。繰り返しがなく、文章として一番きれいに読めるものでした。

同じような誤りは他にもありました。法令の第76号を第16号と書き、『憲法義解』憲法議会／憲法司会という本を別の題名に変えて引用文とページ番号まで作り、幸田露伴を「幸田露顕」という人物にしていました。

リーチ先輩は、でっち上げが集中するのは番号、署名、年月日、地名、肩書きといった、一番確かめやすい形の部分だと指摘します。

5件目は、AIに質問への答え方を教える工程です。ここまでのAIは文章の続きを書くだけで、質問には答えられません。

普通は質問と答えの組を用意しますが、今のAIに作らせればその時点で今の価値観が入ります。作者が自分で書いても同じです。そこで作者は、当時の文書にもともと含まれている問答を探して教材にしました。

集まった問答は274組で、学習の結果「問い、何々。答え、何々」という形で返すようにはなりました。しかし、答える力そのものは上がりませんでした。

後で中身を数えると、質問に説明で答える形のものは274組のうち15組だけでした。残る259組は、捕虜への尋問や、ある教会の業務連絡、鎌倉時代の念仏の問答などだったのです。

リーチ先輩は、教材が教えていたのは問答の見た目だけだったと振り返ります。形が合っているかばかりを見て、中身が何をしているかを数えていなかったことが原因でした。

6件目は、このAIに実際に質問した結果です。「国民は何を食べていましたか？」と聞くと、返ってきたのは高天原の話でした。

「工場ではどんな仕事をしていたんですか？」には、「作業とは職工が継続的に行う状態をいう」という辞書のような答えが返ってきました。書き出しは答えになっていても、書き進めるうちに教材の本の続きへ戻っていくのです。

「身を治める上で大事なことは何ですか？」には、「修身要領と国民教育、183、183」と返ってきました。本のページの端に印刷された章題とページ番号、つまり目次の文字が読み取りで本文に混ざり、そのまま答えとして出てきたものです。

目次の部分を切り取る対策は、37件に当てて変わったのが4件、答えになったのは2件だけでした。

7件目は、作者が一番時間を使った、AIが良くなったかを測る工程です。全部を自分で読むのは無理なので、作者は今のAIに採点させました。

前編の話からすると、採点する側が現代にいることで時代がずれる問題が想定されます。しかし作者はその手前で、採点そのものが成り立っていないという問題にぶつかりました。

同じ260件を3種類の採点役に、同じ基準・同じ入力で採点させると、でっち上げと判定された割合はそれぞれ4件に1件、10件に1件、60件に1件でした。3者の意見が完全に一致したのは半分ちょっとです。

さらに、3つの採点役で多数決を取っていたところ、1つが130件のうち126件に同じ答えを付けていました。作者は票を数える前に採点役がちゃんと判定しているかを調べる工程を入れ、最終的に採点役を8つ並べています。

一番堪えたのは、同じ基準・同じ入力・同じ採点役でもう一度採点させた結果です。「成立している」は194件から268件に、別の採点役では32件から71件に増えました。

パーセントは使えないと判断し、作者は勝ち負けだけを見ることにしました。また、採点役が「全部ちゃんと答えている」とした30問を作者が自分で読むと、答えになっていたのは半分以下でした。通っていたものの中には、東京の区の名前と番地が並んだ目次の文字列も含まれていました。

8件目は、作者が一番大きいと語る失敗です。公開してよいかを決める合格条件を、「夏目漱石とはどんな人物か」のような事実を聞く質問65問で作っていました。

この成績は、教え直しても、資料を渡しても、手本を見せても上がりませんでした。ところが「当時、女性の教育はどう論じられていたか」のような価値観を聞く質問で測ると、結果は大きく違いました。

当時の本には「これはこう論じられている」という文章は多くあっても、辞典のような定義文は入っていません。教材にないものは出てこない、というわけです。

作者が本当に知りたかったのは、冒頭の目的どおり当時の人がどう考えていたかでした。測っている場所が目的とずれていたことに気づき、作者は合格条件を丸ごと差し替えています。

戦後の知識や今の価値観が混ざっていないかという条件は残し、変えたのは「何ができたら良しとするか」だけだと説明されています。

9件目は短い失敗です。AIに答えを6通り作らせ、その中から良さそうなものを選ぶ仕組みを賢くしようとしたところ、3回とも負けました。

「立身出世するには何が必要ですか？」という質問で、新しい選ぶ役が選んだのは「貧困窮迫を避けることにある」という12文字の答えでした。短く言い切っているので、答えて終わっていると判断したのです。

従来のやり方が選んだのは「自己の修養に必要な条件と、社会や国家に必要なものとの2つに分けます」という、途中で切れた答えでした。それでも立身出世の話はしています。

リーチ先輩によれば、効いた工夫はすべて機械で数えられるものでした。賢く選ぶ系の工夫は、判断そのものが信用できないため全部負けています。

10件目は、AIの答えを今の日本語に直して見せる工程です。前編で出た「原子爆弾とは何ですか？」への答えは、「原子の運動を野原に投げる爆弾である」で始まり、陽イオンと陰イオンという「2つの電子」が引き合って爆発を起こす、と続くものでした。

当時の科学記事の口調で堂々と書かれていますが、物理としては全部間違っています。これをどう見せるかで、訳し方の案は3回却下されました。

3版目では「わからないことはわからないと言え」と指示したため、AIが断ってばかりで何も答えなくなりました。却下の理由は「逃げすぎ。でっち上げはしていい」というものでした。

4版目は通りましたが、副作用があります。当時の本に「牛乳を飲めば胃壁が丈夫になって結腸炎を起こす」とあった場合、4版目は「牛乳を飲みますと、胃壁が丈夫になり、結腸炎を起こすのでございます」と返します。

4版目の訳し方の副作用を受けて、作者は断り書きを常に表示することにしました。怪しいところだけに出せばよいのでは、というスタやんの疑問に、リーチ先輩は「原理的に無理」と答えます。

渋沢栄一の例のように、でっち上げは確かめやすい形に集中しますが、正しい記述もまったく同じ形をしています。「明治13年に岡山県で生まれた」と「1840年に埼玉県で生まれた」は、形の上では区別がつきません。

見分けられるなら、それはでっち上げを見つける道具を作ったことになります。さらに、断り書きを判定と結び付けると、一番流暢な答えから断り書きが消えてしまいます。

スタやんが気にしたのは、入口と出口に今のAIが関わっていることでした。リーチ先輩によれば、実際に現代の影響が漏れていた例が3件ありました。

漏れていたのは事実ではありません。答えにあった「シナ、インドの文明と違って」を「中国やインドの文明とは違い」に直したり、重さの単位「トン」を表す漢字を書き換えたりしていたのです。

言葉の置き換えを禁止すると、今度は昔の字と仮名遣いのまま返ってきました。そこで作者は「書き方は必ず今のものにする」「言葉は絶対に変えない」の2つを分けて指示しています。

おまけとして、作者はAIに話しかけると声で返ってくる仕組みも作りました。最初は読み方を細かく直せる音声の仕組みを探していましたが、途中で方針を変えています。

新しい方針は、きれいな声でなくてよいので雑音でそれらしさを出すというものです。目指す音を玉音放送玉音放送 ── 1945年8月15日に昭和天皇の声で終戦の詔書を伝えたラジオ放送。雑音の多い録音として知られていますのような音に決め、音の幅を絞り、歪ませ、揺らし、雑音を足すことで相当それらしくなったといいます。

読み間違いは予想と逆でした。昔の表記で小さい「っ」を大きく書く「であつた」は正しく「であった」と読めた一方、「でしょう」の旧表記「でせう」は字面のまま「でせう」と読んでいました。

また、1回のやり取りに60〜90秒かかります。作者は短くすることを諦め、画面を戦前の無線機の計器板風にして、2026年から1945年へ逆回転するカウンターや、令和・平成・昭和と切り替わる元号の板を出す演出にしました。

失敗ばかりの中で、作者が一番面白かったのは女性の教育について話していた場面です。作者が「それは女性を家に縛ることになりませんか」と反論をぶつけると、AIは「いや、むしろ逆だ」と返しました。

AIの答えは、以前は家から夫を助けることだけが重んじられていたが、今は外出も自由になり、家のことを研究する必要も出てきた、それは時代思想の推移とともに起きた反動だ、というものでした。

リーチ先輩は、反論を正面から受けて当時の論理で返しており、しかも資料を渡したわけではなく中から出てきたものだと強調します。これこそ冒頭の伏線、当時の価値観を持つ人に質問して答えをもらうという作者の目的に届いた瞬間でした。

費用は学習量を全部足して370ドルでした。ただし時間の8割は、資料を集めて掃除する作業と、出てきたものを読む作業に使われています。

作者はこれだけ失敗しても、まだタイムカプセルLLMを作り続けているそうです。

まとめ

1945年より前の文章だけで日本語AIを育てる試みは、線引き、資料の掃除、評価、訳し方のどこにも落とし穴がありました。それでも最後には、資料を渡していないのに当時の論理で反論を返してくる瞬間に出会えたことが、この取り組みの手応えになっています。

• 線引きは「没年」ではなく「いつ書かれたか」で縛る必要があり、見本で完璧だった判定ルールも本番データでは外れた
• AIのでっち上げは番号・年月日・地名・肩書きなど確かめやすい形に集中し、最も流暢な答えが最も嘘だったこともある
• 採点役のAIは判定が大きくぶれ、作者は勝ち負けだけを見る方式と、採点役自体を検査する工程に切り替えた
• 合格条件を事実の質問から価値観の質問に差し替えたことで、本来の目的に沿った評価になった
• 費用は370ドルだが、時間の8割は資料集め・掃除・出力を読む地味な作業に使われた