生成AIとトランスフォーマーの仕組みを、からあげ先生にAIの歴史から聞く

サイエントークでは以前、ノーベル賞をテーマにAIの話を取り上げ、「わかりやすかった」というコメントも届いていました。一方でレンさんとエマさんは、やはり専門家と話したいと感じていたといいます。

そこで今回呼ばれたのが、『面倒なことはChatGPTにやらせよう』の著者であるからあげさんです。からあげさんはネット上で「からあげ」の名前で活動し、仕事でもAI関係の業務に携わりながら、趣味でAI関係の本を書いていると自己紹介しています。

からあげさんによると、『面倒なことはChatGPTにやらせよう』はAI関係では2冊目の本です。さらに翌年1月には、漫画形式の新刊『教えて!からあげ先生 はじめての生成AI』が出る予定だと話されています。タイトルは出版社と話し合ったうえで「これでいきましょう」と決まったそうです。

レンさんとからあげさんのつながりは、少し偶然から始まっています。レンさんがプログラミングについて調べていたときに、からあげさんのブログにたどり着き、「サイエントークにコメントをくれた人と同じ名前だ」と気づいたのがきっかけでした。

からあげさん自身はサイエントークの大ファンで、好きなポッドキャストのトップ3に間違いなく入る番組だと語っています。二人の関係性が好きで、過去回も一通り聴いているとのことで、収録の場は「憧れの場所」だと緊張気味に話していました。

本題はAIの歴史から始まります。番組のノーベル賞回では、ニューラルネットワークの初期研究者や、タンパク質の構造を予測するAIの話を扱っていました。レンさんは、そもそもAIの全体像を十分に説明できていたかを専門家に確かめたいと切り出します。

からあげさんは、前回の2本の解説はわかりやすく、自分にとっても復習になったと答えています。今主流のCNNCNN ── 畳み込みニューラルネットワーク。画像の特徴を局所的に捉える構造を持ち、画像認識で大きな成果を上げてきたニューラルネットワークの一種ですやトランスフォーマーは自分で実装した経験があるものの、ホップフィールドネットワークホップフィールドネットワーク ── 1980年代に提案された、記憶を想起する仕組みをモデル化したニューラルネットワーク。2024年のノーベル物理学賞の受賞理由に関わる研究ですは詳しく知らなかったため、歴史の流れが勉強になったといいます。

からあげさんによると、AIは時代ごとに進化してきた一方で、過去の技術が見直されてリバイバルすることも多いそうです。そのためAIを学ぶ人にとって、歴史をたどることは興味深く、重要なポイントになると話しています。

ニューラルネットワークは何度も冬の時代を乗り越え、今は3度目のブームを迎えて4度目に向かっている状況だと、からあげさんは説明します。からあげさんが学生だった頃はまさに冬の時代で、ニューラルネットワークは「黒魔術」のような扱いを受けていたそうです。

当時は、ニューラルネットワークの研究発表をすると、普段は優しい先生まできつめの反応をすることがあったといいます。「ニューラルネットワークはないんじゃないの？」という空気で、研究している先輩もいじめられ気味だったと振り返っています。

エマさんは「迫害」という言葉から、地動説を扱ったアニメを連想します。レンさんが「そこまでじゃないっすよね」と返すと、からあげさんは命の危険まではないものの、いじめレベルだったかもしれないと答えていました。

からあげさんは、そうした逆風の中でも研究を続けた人たちを深く尊敬していると語ります。研究者にとって研究が認められることは大きなモチベーションのはずで、それでも続けたノーベル賞受賞者のジェフリー・ヒントンジェフリー・ヒントン ── ニューラルネットワーク研究の第一人者として知られるイギリス出身の計算機科学者。2024年にノーベル物理学賞を受賞しました先生は偉大な人だと話しています。

ニューラルネットワークが冬の時代だった頃、代わりに流行していたのが遺伝的アルゴリズム遺伝的アルゴリズム ── 生物の進化を模した最適化手法。候補となる解を「遺伝子」に見立て、交叉や突然変異、選択を繰り返して良い解を探します。英語の頭文字からGAとも呼ばれます（GA）だったと、からあげさんは話します。遺伝子が交差したり突然変異したりして進化する仕組みを模擬し、パラメータを最適化する手法です。

当時は「これからはGAで、ニューラルネットワークはオワコンだ」という雰囲気すらあったといいます。時期についてからあげさんは、10年から20年ほど前、おそらく20年ぐらい前だろうと話しています。

では今の一番の流行りは何か。からあげさんの答えは、ChatGPTをはじめとする生成AIです。生成AIもニューラルネットワークの発展形で、ニューラルネットワークを複雑にしたディープラーニングという技術の一種にあたると説明されています。

レンさんが「その関係性が曖昧だった」と話すと、からあげさんはAI関連の用語の包含関係を整理してくれました。まずAIは定義もはっきりしない、最も広くふわっとした概念だといいます。

その中にあるのが機械学習です。からあげさんによると、基礎的なプログラミングは「信号が赤なら止まる、青なら進む」のように条件分岐でルールを書きますが、機械学習はデータからルールを学習するという違いがあります。

機械学習の中でも、脳の仕組みを真似てデータからルールを学ぶのがニューラルネットワークやディープラーニングです。さらにその中で、画像や文章を作り出すものが生成AIで、領域は徐々に狭くなっていく関係だと話されています。

この図は、上に行くほど範囲が狭くなる入れ子の関係を整理したものです。AIは定義もはっきりしない最も広い概念で、機械学習にはサポートベクターマシンサポートベクターマシン ── データを境界線で分類する機械学習の手法。ディープラーニングが広まる前は、分類問題の代表的な手法としてよく使われていましたなどの手法もありますが、今人気なのはやはりニューラルネットワークだといいます。

からあげさんは、ニューラルネットワークの中でも特にトランスフォーマートランスフォーマー ── 2017年に発表されたニューラルネットワークの構造。文中の語同士の関係を捉える仕組みを持ち、現在の大規模言語モデルの多くの基盤になっていますという技術が、文章にも画像にも使えることから、今すごく人気だと話します。複数の種類のデータを扱えることをマルチモーダルと呼ぶそうです。

レンさんは以前のAlphaFold回でもトランスフォーマーに触れましたが、言葉だけで説明するのは難しいと感じていました。からあげさんも説明はとても難しいと認めつつ、前回のボルツマンマシンの「ゴロゴロ転がる」例えは面白く、わかりやすかったと評価しています。

レンさんの「ゴロゴロ」の例えは、エネルギーが一番低いところを探すことを、部屋の中を転がり回って一番寝心地のいい場所を探すことに見立てたものです。レンさんは編集中に専門家に怒られるのではと心配していたそうですが、からあげさんはイメージとしては全然良いと答えています。

からあげさんの補足によると、ニューラルネットワークは脳のニューロンとシナプスのつながりのように、膨大なパラメーターを持っています。今のニューラルネットワークのパラメーターは数十億、数百億というレベルで、つながり方に応じて良し悪しがある巨大な迷路のような状態だといいます。

その巨大な迷路の中で一番良いところを探すことがとても難しく、研究者たちはそのために苦労してきたと話されています。トランスフォーマーは、そうしたニューラルネットワークの組み合わせ方の一種として理解すればよいそうです。

トランスフォーマーの身近な例はChatGPTです。からあげさんによると、GPTの「T」はトランスフォーマーの略です。トランスフォーマーはあらかじめ大量の文章を学習して脳のようなネットワークを作っておき、人間のように聞かれたら答えられる状態になっているといいます。

からあげさんは、昔は言語や画像など用途ごとに全く違う仕組みのネットワークを使っていたと説明します。トランスフォーマーはもともと文章用に開発されたものの、画像などにも使えるとわかり、何でもこなせる汎化性能の高さから広く使われるようになったそうです。レンさんは、その応用の一つがAlphaFoldのタンパク質構造予測だったと受け止めています。

レンさんは、トランスフォーマーのイメージを「ボールを」という文章の次に「投げる」が来やすいと学ぶ、という例で確認します。からあげさんはその理解でよいとしたうえで、生成AIの学習の流れを3つの段階に分けて説明しました。

最初の段階では、大量の文章を穴あき問題にして、続く言葉を予測させる問題をひたすら解かせます。仕組みは単純に聞こえますが、とても大量にこなすと人間のように頭が良くなってくるそうです。レンさんはこれを「スパルタの塾みたい」と表現しています。

ただし、続きを話せるだけでは質問にうまく答えられません。そこで次に、人間が質問と答えを用意したクイズのような問題を大量にやらせます。これをファインチューニングファインチューニング ── 学習済みのAIモデルに、特定の目的に合わせた追加データを学習させて調整すること。少ないデータでも用途に合わせた振る舞いを身につけさせられますと呼び、初期は問題を人間が頑張って用意していたといいます。

それでも、たとえば爆弾の作り方を聞かれると「知ってるよ」と答えてしまうような問題が残ります。そこでアライメントアライメント ── AIの振る舞いを人間の価値観や意図に沿わせるための調整のこと。安全性や倫理面で重要な工程とされていますとして、答えてよいことと反社会的なことに良し悪しの報酬を与える強化学習を行い、人間に従順なAIに仕上げるそうです。

からあげさんによると、今の生成AIはどこのものも、だいたいこの流れで学習しています。そのため、あまり悪いことやめちゃくちゃなことは言わないようになっているそうです。

レンさんの感想に対して、からあげさんも「ある意味、人間の教育にイメージが近い」と同意していました。

レンさんは、サイエントークでのエマさんの発言データを学習させれば「エマボット」が作れるのかと尋ねます。からあげさんの答えは「できます」で、方法はいくつかあると説明しました。

1つは、先ほどのファインチューニングでエマさんのデータを学習させる方法です。もう1つがRAGRAG ── 検索拡張生成。質問に関連する情報を外部のデータベースから検索し、その内容を参照しながらAIが回答を生成する手法ですで、エマさんの過去の発言をデータベースに置き、質問に応じて検索した内容をもとに話させます。からあげさんはこれを、テストでカンニングするようなものだと例えています。

エマさんが、ひろゆきさんの声をAIで再現したものとの違いを尋ねると、からあげさんは声の再現は別の技術だと答えています。ただし音声の分野でもトランスフォーマーが使われ始めており、その人らしい発言を作る部分にはRAGのような技術が使われているのではないかと話しています。からあげさんはさらに、パナソニックと松尾研究所が、創業者の松下幸之助さんを再現したデジタルヒューマンを作ったニュースも紹介しました。

レンさんには、体調を崩すことが多い時期に、自分の過去の発言を学習させたAIを代役にできないかと考えたことがあったそうです。からあげさんは、満足できるかは別として、それっぽいものは作れるだろうと答えています。

今すぐ試せるものとして、からあげさんが挙げたのがGoogleのNotebookLMNotebookLM ── Googleが提供するAIノートサービス。アップロードした資料や音声の内容をもとに、要約や質問への回答を行いますです。音声をアップロードすると自動で文字起こしされ、その内容について質問すると答えてくれるそうです。

からあげさん自身も、サイエントークやコテンラジオコテンラジオ ── 歴史を題材に、深掘りした解説を行う人気ポッドキャスト番組など好きなポッドキャストをNotebookLMにアップロードし、「あれってどういうことだったんだろう」と質問して復習しているそうです。

からあげさんは、生成AIを人間のようなものと捉えるだけでなく、「何でも変換器」として使う発想を勧めています。音声を文章に、文章を外国語に、質問を答えに変換する、という考え方で使うと応用が広がるといいます。

YouTube動画をアップロードすると、AI2人がその内容について会話するポッドキャストを自動で作る機能もあった気がする、とからあげさんは紹介します。日本語ではまだできなかったと記憶しているそうです。

一方でからあげさんは、変換器という考え方を使えば、音声を本にまとめたり動画にしたりと、メディアミックスが手軽になっていくと見ています。レンさんも、音声だけで伝えることは大事だとしつつ、理解しやすくなる画像を音声から自動生成できたら良いのに、と以前から感じていたと話しました。

レンさんは、ChatGPTに曖昧に聞くといまいちな答えしか返ってこないと感じており、AIを使いこなす人は指示がうまいのではないかと尋ねます。からあげさんの答えは、基本は人にお願いするときと同じだというものでした。

からあげさんによると、AIは脳の仕組みを真似ている分、人間とは違いつつも似ているところが多いそうです。背景を知らない人に頼むときのように、具体例を示し、目的を伝え、なるべく具体的に書けば、それなりの答えが返ってくるといいます。論文で「フューショット」などと呼ばれる手法も、実は人に丁寧にお願いする方法と似ていることが多いそうです。

からあげさんは、別の観点も付け加えています。書店には「〇〇式プロンプト」のような細かいテクニック本が並んでいますが、AIが賢くなると、シンプルな指示でも十分にうまくやってくれるという研究やデータが出てきているそうです。

そのため今後は、細かい技術よりも、本当にどうしたいのかという本質的な問いを立てる能力が重要になるかもしれない、とからあげさんは考えています。

からあげさんは、特殊な用途では作り込むこともあるとしつつ、自身の本でも複雑な書き方はしておらず、シンプルなお願いの例を載せていると説明します。今のAIにこの程度頼めばこの程度の結果が来る、という感覚をつかんだうえで、やってほしいことを素直に頼めばよいそうです。

エマさんは普段、まずGoogleで調べ、答えが見つからなければChatGPTに聞く使い方をしているそうです。そのうえで、一般の人にもっと使ってほしい場面はあるかと尋ねました。

からあげさんが勧めたのは、検索エンジンの代わりにAIで検索することを少し増やしてみることです。例として挙げたのがPerplexityPerplexity ── 検索結果をもとにAIが回答を生成するAI検索サービス。回答とあわせて参照元のリンクも表示されるのが特徴ですで、検索結果をもとにAIが答えを生成してくれます。ChatGPTにもウェブ検索を組み合わせて回答する機能があるといいます。

ただしからあげさんは、AIはたまに嘘もつくので注意は必要だと付け加えています。からあげさん自身は検索エンジンとAIを半々ぐらいで使い分けており、周りの若い人では生成AIでまず検索する人が増えているそうです。

レンさんは最近、論文をAIで検索し、指定した形式のグラフにまとめ、根拠となる論文をリストにしてくれるサービスに感動したと話します。少し前のChatGPTは存在しない論文の番号を生成するなど、論文については嘘ばかりだったため、学術研究への利用には疑問を感じていたそうです。

からあげさんによると、NotebookLMにはPDFもアップロードできるため、論文の要約や日本語訳、わからない部分への質問にも使えます。レンさんが「著者に質問できるみたいな」と言うと、からあげさんは「自分より賢いのでは」と思うレベルで答えてくれるので、論文の読み方が変わってきていると話しています。

からあげさんは、研究そのものをAIが行う研究も出てきていると紹介します。Sakana AISakana AI ── 東京を拠点とするAIスタートアップ。自然界の仕組みに着想を得たAI研究を掲げていますという会社が作った「AIサイエンティスト」は、複数のAIを組み合わせて自ら論文を作るもので、コンピューター分野ではプログラムを自分で作って実行し、実験結果まで出すそうです。

レンさんが「その論文の著者は誰になるのか」と尋ねると、からあげさんは、AIが作ったものの著作権はグレーで議論が続いていると答えます。論文に限らず画像や文章でも、そのままでは著作権にならないという話や、プロンプトを工夫したり改変したりすれば認められるという議論があるそうです。ただ、からあげさんが知る限り、はっきりした結論は出ていないといいます。

エマさんは、法律やルールがAIの進歩の速さに追いついていないと感じています。からあげさんも、裁判例が多くあるわけではなく、ケースごとにどうなるかはまだわからない部分が多いと話しています。

話題は、大学でレポートがAIで書かれていないかを判定するAIへ移ります。からあげさんは、判定は「いたちごっこ」で気休めに近いと見ています。人間が書いた文章がAIの文章だと言われることもあり、人間が区別できない以上は限界があるそうです。

からあげさんはさらに、AIっぽくない文章を作るAIはできるだろうとしたうえで、逆にAIに文章の書き方を習った人間がAIっぽい表現に引きずられていく可能性にも触れています。

レンさんが、AIの誤りを指すハルシネーションハルシネーション ── AIが事実と異なる内容を、もっともらしく生成してしまう現象。英語で「幻覚」を意味しますという名前をおしゃれだと話すと、からあげさんは、人間も間違える以上、ハルシネーションが全くなくなることはなかなかないだろうと答えています。一方で、人間より間違いが少なくなることは十分あり得ると見ています。

からあげさんによると、AIの研究者もAIを使うのが普通になってきています。ニューラルネットワークの構造自体をAIに作らせる試みも以前からあり、今の高性能なAIの構造にはAIが作った部分もあるそうです。最近は新しいAIが出ても違いがよくわからないほど賢くなっている、とからあげさんは話しています。

からあげさんによると、AIはかつて一度「無理だ」と諦めたプロジェクトもありましたが、最近は海外の国家資格や医師の試験を突破しているといいます。レンさんは、AIの進化を「神々の戦い」と表現していました。

エマさんが、今でも人間とAIが違う点はあるかと尋ねると、からあげさんは人によって意見は分かれるとしたうえで、体がないことが大きな違いだと答えます。これを身体性と呼ぶそうです。

からあげさんの言う身体性とは、自分で動いて新しいことを発見したり、体で痛みを感じたりすることです。AIは「いわば血も涙もない」存在で、そこが人間と違う部分だといいます。同時に、体がないのにここまで人間らしく振る舞えることには驚きがあると話しています。

からあげさんは、ロボットにAIを搭載し、センサーで画像や痛みのデータを取るようになったらどうなるのか、面白さと少しの怖さがあると語ります。実際に、生成AIをロボットに搭載して動かす研究は進んでいるそうです。

人と見分けがつかないロボットはできるのか、というエマさんの問いに、からあげさんは、いつかはできる気がするがいつになるかはわからないと答えています。ロボットはお金がかかり、「人のほうが安い」とビジネス的に難しくなりがちだからです。それでもAIとロボットのほうが便利で安いとなれば、急激に進む可能性があると見ています。

からあげさんは、そうしたロボットの実現にはそれなりに時間がかかりそうなので、まだ体を鍛えるのは重要かもしれないと話します。話は思わぬ方向に進み、「筋トレは重要かもしれない」という結論に着地しました。

最後にからあげさんは、AIは恐ろしくも感じるとしつつ、前向きに使うべきだと語ります。日本は少子高齢化で人がどんどん足りなくなるため、AIで効率化しなければどこかで壊滅的なことが起こるはずだと考えているからです。

だからこそネガティブにならず、自分たちの将来を救う意味でAIを前向きに使っていくほうがよい、とからあげさんは話しています。

からあげさんは新刊『教えて!からあげ先生 はじめての生成AI』も紹介しました。1月22日ごろに角川から発売予定で、AIに詳しくない人でも漫画で楽しみながらAIを理解し、使いこなせるようになる本だと説明しています。漫画はからあげさんのアイコンを描いているプロのイラストレーターが担当しており、「今のAIにはまだ勝てないクオリティ」だそうです。

エマさんはまずNotebookLMとPerplexityを使ってみると話し、レンさんもサイエントークの音源をAIで変換してみたいと語って、回は締めくくられました。

まとめ

からあげさんの話からは、生成AIが冬の時代を越えたニューラルネットワーク研究の延長にあり、穴あき問題・ファインチューニング・アライメントという「教育」を経て今の形になっていることが見えてきます。使いこなしのコツは人に頼むように頼むことで、体がないという違いを意識しつつ、前向きに付き合う姿勢が語られました。

• ニューラルネットワークは迫害に近い冬の時代を経て、今は3度目のブームにある
• ChatGPTのGPTの「T」はトランスフォーマーで、文章以外にも使える汎用性が強み
• 生成AIは「何でも変換器」と捉えると、NotebookLMなどで応用が広がる
• AIへの指示は人へのお願いと同じで、今後は本当にやりたいことを言語化する力が問われる
• AIと人間の違いは身体性にあり、少子高齢化の日本ではAIを前向きに使う意味が大きい