Question 1

学習データの時代を1945年以前に限定する際、どのような線引きの失敗があったか？

Accepted Answer

著者の「没年」を基準にすると、戦後まで生きた人物が戦後に書いた作品まで混入してしまう 作品が初めて世に出た年を最優先の基準とし、特定できない場合にのみ没年などを参照する必要がある 線引きを誤ると、戦後の知識を知ってしまったAIが戦前の人のふりをする危険が生じる

Question 2

AIが生成する「でっち上げ（ハルシネーション）」にはどのような特徴や落とし穴があったか？

Accepted Answer

文章の繰り返しがなく最も流暢で綺麗に書かれている回答ほど、中身が完全な嘘である場合がある 年月日、地名、人名、肩書、法令番号など、一見確かめやすそうな具体的情報ほどでっち上げが集中する 文章としての流暢さと事実としての正しさは全く別物であり、外見だけでは区別がつかない

Question 3

質問に答える能力（問答形式）をAIに教える過程で何がつまずきの原因となったか？

Accepted Answer

現代人がQ&Aデータを作成すると現代の価値観が混ざるため、当時の文献内にある問答を集める必要があった 集めた問答の多くは捕虜への尋問や業務連絡などであり、質問に説明で答える形式のものはごく一部だった 「問いと答え」という外見の形式だけに注目し、中身がどのような対話をしているかを精査していなかった

Question 4

AIの完成度を測る「合格条件」の設定において、どのような見落としがあったか？

Accepted Answer

当初は人物の定義など「事実」を問う質問で評価していたため、いくら学習させても正答率が上がらなかった 当時の文献には事典的な定義文は少なく、物事についての「価値観や議論」が多く書かれていた 作者自身が知りたかった「当時の価値観」を問う評価基準に差し替えたことで、本来備わっていた能力が正しく判定できた

Question 5

回答の現代語訳や調整に現代のAIを介在させた際、どのような問題が生じたか？

Accepted Answer

読者に親切にしようとする現代AIの配慮により、当時の言葉遣いが無意識に現代の呼称へ置き換えられてしまった 丁寧な口調に翻訳し直すことで、当時の非論理的な珍説までもっともらしい事実のように聞こえてしまう 時代の純度を守るため、「言葉そのものは絶対に変えず、表記方法だけを現代のものに改める」という明確な境界が必要となった

Podcast振り返り

#10 タイムカプセルLLM ― 過去だけを読んで育ったAIの話【後編】

Podcast振り返り

#10 タイムカプセルLLM ― 過去だけを読んで育ったAIの話 【後編】

#10 タイムカプセルLLM ― 過去だけを読んで育ったAIの話【後編】