Question 1

タイムカプセルLLMとはどのようなAIか？

Accepted Answer

特定の年（1945年など）で線を引き、それ以降に書かれた文章を一切読ませずに育てたAIである 現代のAIに昔の人を演じさせるのではなく、生まれた瞬間から過去の文章のみでゼロから学習させている 現代の知識を「知らない」こと自体が狙って作られた価値であり、その時代を生きた人間そのものの再現を目指している

Question 2

世界ではどのようなタイムカプセルLLMの研究事例があるか？

Accepted Answer

著作権の切れた1800年代の資料だけでAIを作れるかを検証したモデルが存在する 区切る年を変えたモデルを5つ並べ、歴史の変化を比較観察する定点カメラのような研究が行われている 歴史研究の道具として客観性を保つため、当時の偏見をあえて修正せず残している コンピュータを知らない1931年のモデルが、例題から推論してプログラミング問題を解いた事例がある

Question 3

タイムカプセルLLMにはどのような使い道やメリットがあるか？

Accepted Answer

未来の結果を知らない状態から純粋に予測を行わせ、その予測が当たるかを検証できる 過去の知識だけで相対性理論などの歴史的大発見を自力で再現できるかを試せる 当時の人々の価値観や思考パターンを対話を通じて引き出すことができる テスト問題を事前に知っているという「カンニング」の疑いを完全に排除できる 古い時代の資料を用いるため、著作権の問題をクリアしやすい

Question 4

タイムカプセルLLMの開発においてどのような課題があるか？

Accepted Answer

現代の大規模AIに比べて学習に使える過去の文章データ量が圧倒的に不足している 本を残せる立場の人々の記録しか残っておらず、当時の一般庶民の実際の生活までは再現できない 復刻版の現代人による解説や図書館の管理情報など、意図しない現代情報がデータに混入しやすい

Question 5

開発における最も厄介な「現代情報の混入」と評価の問題とは何か？

Accepted Answer

対話の品質を高めるチューニングの際、回答を採点・指導する係として現代のAIが使われている 学習データは過去に絞れても、味見役（採点者）が現代にいるため最終的な出力が現代に引っ張られてしまう 過去のAIを正当に測る共通テストが存在せず、採点するAIの評価基準自体がブレて安定しない

Podcast振り返り

#9 タイムカプセルLLM ― 過去だけを読んで育ったAIの話【前編】

Podcast振り返り

#9 タイムカプセルLLM ― 過去だけを読んで育ったAIの話 【前編】

#9 タイムカプセルLLM ― 過去だけを読んで育ったAIの話【前編】