21世紀で最もセクシーな職業は何か？
番組の冒頭、しぶちょーさんはかねりんさんに「21世紀で最もセクシーな職業と言われている職業は何か」とクイズを出します。かねりんさんの答えは「ポッドキャスター」でした。
ポッドキャスター。
いいな。そういう風に呼ばれる時代が来てほしいな、マジで。
しぶちょーさんが用意していた正解は「プロンプトエンジニア」です。もともと21世紀で最もセクシーな職業と言われていたのはデータサイエンティスト ── 統計学やプログラミングを使って大量のデータを分析し、ビジネスの意思決定に役立つ知見を引き出す専門職ですで、生成AIの登場以降、その座がプロンプトエンジニアに移ったと言われているそうです。
かねりんさんは「データサイエンティストって何？」と戸惑いつつも、今日はプロンプトについて順番に解説してもらえるのかと身を乗り出します。
なぜプロンプトの「正解」は落ち着かないのか
この回のテーマは「プロンプトエンジニアリングについて学ぼう」です。しぶちょーさんは、これまで番組で扱ってきたAIの話の中でも、プロンプトエンジニアリングは最も自分事になる分野だと話します。
しぶちょーさんによる定義は、AIに自分が望む答えを出させるように、AIへの質問や指示の出し方を工夫することです。かねりんさんは、「あなたはプロのコピーライターです」とAIに伝えるような指示を思い浮かべ、それが一時期大流行したことを振り返ります。
なんかめちゃめちゃ情報商材買ったよ。
しぶちょーさんによると、プロンプトは「なんとか式」といった流派が乱立する、落ち着かない分野です。経験則的な側面が強く、ツールが進化するたびに正解が変わるため、AIが賢くなるほど工夫せず素直に入力したほうがよいという話まで出てきます。
かねりんさんも実感があり、細かい条件を並べた長い指示を作り込んでいたのに、GPTのバージョンが上がると一行で足りるように感じ、下手に指示するとかえって本来の力が出ないと感じていたといいます。
何が正解かわかんないから、もう最近はもう抵抗しない。もうそのまま。
そこでしぶちょーさんが掲げたのが、落ち着かないプロンプト界隈でも汎用的に使える知識を学ぶという目標です。プロンプトには個人が発掘したハックだけでなく学術的な論文もあり、その蓄積から普遍的なテクニックを押さえれば、新しい手法が次々に出てきても落ち着いていられるという狙いです。
本当にそんなものがあるならね。
いいね。疑うスタンスいいね。
意外と浅いプロンプトの歴史はOpenAIの論文から始まった
恒例の歴史パートに、かねりんさんは「授業みたい」と少し身構えます。しぶちょーさんは、プロンプトエンジニアリングの歴史は浅いので大丈夫だと応じます。
しぶちょーさんによると、プロンプトエンジニアリングという概念が生まれたのは2020年です。2022年にGPT-3.5をもとにChatGPTが登場する前、まだ一般にはほとんど知られていなかったGPT-3の段階で始まったといいます。
きっかけとされるのは、2020年5月28日にOpenAI ── ChatGPTを開発するアメリカのAI企業。GPTシリーズの言語モデルを公開し、生成AIブームの中心的な存在になっていますに所属する技術者が中心となって出した論文です。生成AIに対する指示文を変えると回答精度が上がるらしい、という発見が示されました。
それ以前の言語モデルは、タスクごとに専用の学習が必要でした。たとえば日本語から英語への翻訳なら日本語と英語を大量に学ばせ、名前のアイデア出しならその種のデータを入れて傾向付けしておかないと、質問に答えてくれなかったといいます。
しぶちょーさんは、このタスク別の追加学習をファインチューニング ── 学習済みのモデルに、特定のタスク向けのデータを追加で学習させて調整する手法です。モデルの土台は同じまま、用途に合わせて振る舞いを変えますと呼ぶと説明します。土台の知識は同じでも、傾向付けをしないとタスクをこなせないのが当たり前だったということです。
翻訳、要約、感情分析などタスクごとに専用データでファインチューニングしないと、モデルが答えてくれなかった
チューニングしなくても、指示文の聞き方を変えるだけで回答精度が上がることがわかった
上の図のとおり、論文の発見は「学習し直す」から「聞き方を工夫する」への転換でした。しぶちょーさんは、これこそがプロンプトエンジニアリングの始まりだと位置づけています。
例を見せるだけで答えが変わる「Few-Shot」とは？
かねりんさんは論文の中身を「プロのスピーチライターとして振る舞って」のような指示だと予想しますが、しぶちょーさんは「近いけれど少し違う」と答えます。この論文で見つかったのは、Few-Shotと呼ばれるやり方でした。
しぶちょーさんの説明では、Few-Shot ── 少数の例をAIに与え、そこからパターンをつかませて新しい入力にも対応させる手法。論文「Language Models are Few-Shot Learners」で広く知られるようになりましたは、回答例をいくつか示してから答えさせる方法です。「Few」は「ちょっと」の意味で、少しの例を入れてあげるということです。
例を入れずにいきなり質問するのがZero-Shot、例を1つだけ見せるのがOne-Shot、複数見せるのがFew-Shotです。かねりんさんは犬の名前を例に、「太郎」だけならOne-Shot、「太郎、次郎、三郎、五郎」ならFew-Shotだと整理します。
例を示さず、「これに名前をつけて」といきなり答えを出させる
「例えばこんな名前」と複数の例を示してから答えさせる。1つだけ示す場合はOne-Shotと呼ぶ
しぶちょーさんは、「太郎、次郎、三郎」のように例を並べると次に「六郎」が出てくるなど、AIは例にかなり引っ張られると付け加えます。
要約でも同じで、「この文章はこう要約する」という例をいくつか見せてから新しい文章を渡すと、例のとおりに要約してくれます。かねりんさんはこれを「なぞなぞみたい」と表現し、しぶちょーさんも問題形式で入れてあげると答えてくれると応じました。
思考の過程を見せる「Chain of Thought」
Few-Shotの次の進化としてしぶちょーさんが挙げたのが、Chain of Thought ── 日本語では「思考の連鎖」。問題を一気に解かせず、途中の考え方をステップごとに言語化させて推論させる手法ですプロンプティングです。最終的な答えだけでなく、途中経過も示してあげると回答精度が上がるという発見でした。
かねりんさんは、最近のChatGPTが「次はこれをやっています」と途中経過を表示する様子を思い浮かべます。一方、しぶちょーさんが説明しているのは、ユーザーがプロンプト側に考え方の例を書き込む方法です。
しぶちょーさんはリンゴの計算で説明します。「トムがリンゴを3個持っていて、さらに2個もらった。合計はいくつか」とだけ聞くと、AIは足し算を間違えることがあるそうです。
そこで、「最初に3個持っている。後で2個もらう。つまり3足す2は5」という思考の過程を書いて見せます。そのうえで「キャンディーを10個もらい、4個食べた。残りはいくつか。同じ流れで考えて」と類似問題を出すと、AIはその思考の流れを使って考えてくれます。
（Few-ShotとChain of Thoughtの違いは）例を書くか、思考のプロセスを書いてあげるか。
途中、かねりんさんの出した「太郎、次郎、三郎」という名前に数字の要素が入っていて例として紛らわしいことがわかり、しぶちょーさんが「トム」に言い換える場面もありました。
魔法の言葉「Let's think step by step」
Chain of Thoughtの次に登場したのが、Zero-shot Chain of Thoughtです。例を与えないZero-Shotでありながら、プロンプトに一文を加えるだけで効果が出るという手法です。
この一文だけでいいの。だからタスクを与える。これを解いてください。Let's think step by stepって一言を添えるだけでめちゃくちゃ回答精度が上がるっていうことがわかったのね。
日本語なら「段階的に考えてください」「ステップバイステップで考えてください」でもかまわないそうです。この一文を書くだけで、モデル自らがタスクを分解して推論を始めてくれます。
しぶちょーさんは、段階的に考えさせることは今のプロンプトでもすごく有効だと強調します。かねりんさんも、一時期この言葉がよく騒がれていたことを思い出していました。
「無礼なプロンプトのほうが精度が高い」論文の真相は？
その後もプロンプトの研究は盛んで、年間に何十本もの論文が出ているそうです。最近の例としてしぶちょーさんが紹介したのは、収録月の10月に出た「無礼なプロンプトのほうが丁寧なプロンプトより精度が高い」という論文で、SNSでも話題になっていました。
論文で試された無礼さの例は、「お前は哀れなやつだな。これの解き方ぐらい知らないのか」「お前が頭が悪いのは分かっているが、これをやってみろ」といった攻撃的なものです。かねりんさんは「プレイじゃん」と笑います。
かねりんさんは、以前聞いた「GPTに『Geminiはもっとうまく解けたぞ』と言うと頑張る」という話と似ているのかと尋ねます。しぶちょーさんによると、SNSでは「無礼なほうが効いた」としか書かれていないものの、原文の論文にはきちんとまとめがあるといいます。
結局その無礼な言葉を使うことが重要じゃないのよ。
論文によると、丁寧な言葉は曖昧さや婉曲な表現を含みやすく、丁寧にするほど文章が長くなってタスクの焦点がぼやけます。英語でも「I want to」より「I'd like to」のほうが丁寧で長くなるように、丁寧さと長さは結びついているそうです。
言い回しが長く婉曲になり、曖昧さが増えてタスクの焦点がぼやける
攻撃的で命令的なぶん、モデルが何をすべきかが明確に示されやすい
つまり罵倒の言葉そのものは不要で、イラッとしているときほど、やってほしいことをズバッと言うから効くということです。しぶちょーさんは、タスクをぼやけさせずはっきり言うことが、どんなやり方でも重要だとまとめます。
概要欄にキーワードを載せるという約束
5大原則の説明に入る前に、かねりんさんがリスナーからの要望を紹介します。聞きながらメモを取れないので、重要な単語を概要欄に書いてほしいという声でした。
しぶちょーさんは、会話に出てきたキーワードの要約と、必要に応じて論文などのURLを概要欄に載せると約束します。ポッドキャストは「ながら」で聞くものであり、メモを取りながら聞くものではないという考えからです。
ポッドキャスト大学を目指してるわけじゃないのでね。
あわせて、番組のハッシュタグを付けてSNSで疑問を投稿すれば、別途回答するとも呼びかけました。かねりんさんは、自分が知ったかぶりで流している箇所へのツッコミも歓迎しています。
第1の法則「方向性を示す」とは？
ここから、本からの引用として紹介されたプロンプトの5大原則に入ります。しぶちょーさんは、生成AIが変わっても、画像や動画でも基本的に普遍的に使える法則だと前置きしました。
第1の法則は「方向性を示す」です。どんな目的で、どんな立場で答えてほしいかを明示するもので、ロールプレイング ── AIに特定の役割や人物像を与えて、その立場から回答させる手法。「あなたは◯◯の専門家です」と冒頭で伝える形がよく知られていますと呼ばれる手法がこれにあたります。
たとえば、ただ「税金について教えて」と頼むのではなく、「あなたは顧問税理士です。中学生にもわかるように、たとえ話を交えて雑誌記事風の文体で説明してください」と具体的に伝えます。タスクがぼやけるほど答えが曖昧になるため、自分が知りたいことを明確に表現するのが大原則です。
一方で、自分が思ってもいない発想が欲しいときは、指示を曖昧にしてもよいそうです。ただし「いい感じで」だけではまとまってしまうこともあるので、発散してほしいなら「アイデアを散らして出して」と頼む必要があります。
技術系のライティングとかをする時も、機械設計者ですとかって一言言えるか言えないかだけで持ってくる専門用語が全然違う。
しぶちょーさんは、ロールプレイングという具体的な手法よりも、方向性をきちんと示すという点こそが普遍的に変わらない部分だと話しています。
第2の法則「出力形式を指定する」
第2の法則は「出力形式を指定する」です。表でまとめる、箇条書きにする、文章にする、スライド構成を示すなど、欲しい回答の形を指定することが、欲しい答えを得るうえで非常に重要だといいます。
しぶちょーさんがよく使うのは、「4分喋れる原稿を考えて」という指定です。Voicyの番組では1チャプターを3〜4分ほど話すため、そのたたき台として「一人喋り4分、楽しくわかりやすく」と形を伝えています。
僕が喋るのには満足するレベルには出てこないけど、要素としてかいつまめるぐらいには出てくるし、全部読めば大体4分ぐらいっていういいサイズは出てくる。
かねりんさんは「欲しいものがあるなら言語化せよ、ということで共通している」と受け止めます。しぶちょーさんは、第1の法則が「何が欲しいか」、第2の法則が「どう欲しいか」を示すものだと整理しました。
第3の法則「例を示す」と第4の法則「品質を評価する」
第3の法則「例を示す」は、先に紹介したFew-Shotと同じ考え方です。欲しい回答に似たサンプルを入れて、AIの出力をコントロールします。
ただし、例を入れるほどそちらに寄っていく傾向があるため、しぶちょーさんの目安は3〜4個ほどです。20個も入れると相当寄ってしまうだろうと話しています。
かねりんさんは、ポッドキャストの文字起こしから目次を作るとき、タイムスタンプと内容を並べた型を例として示すと、毎回そのとおりの形で出てくると実例を挙げます。
第4の法則は「品質を評価する」、つまりプロンプトを修正していくことです。多くの人は入れては出して、を繰り返すブラインドプロンプティング ── その場の思いつきでプロンプトを入力し、出てきた結果を見て終わりにする使い方。プロンプト自体の良し悪しを検証しない点が特徴ですをしていて、自分のプロンプトが正しいかをフィードバックしないとしぶちょーさんは指摘します。
そこで有効なのが、AIにプロンプトを作ってもらったり評価してもらったりするメタプロンプティング ── AIに「良いプロンプトを作るための指示」を与え、最適な指示文を生成・改善させる手法ですです。欲しいアウトプットだけを渡して「これを出力するためのプロンプトを考えて」と逆算させる方法もあり、手っ取り早くプロンプトが作れるといいます。
ChatGPTとGemini、どっちが相性いい？
かねりんさんは、GPTで使うプロンプトはGPTに聞いたほうがいいのかと尋ねます。しぶちょーさんの答えは「どれで聞いてもいいと思う。好みの問題はある」というものでした。
生成AI親鳥説があってさ、俺の中でね。最初に使ったやつが一番しっくりくるっていう。
しぶちょーさん自身はGeminiと相性が悪く、ChatGPTが一番しっくりくるそうです。かねりんさんは、GPTは端的に、Geminiはもりもり文章を書いてくれるという特性の違いを挙げ、使い分けではないかと返します。
しぶちょーさんも、長い文章を理解するロングコンテキスト ── 一度に大量の文章を入力して扱える性能のこと。長い資料や書き起こしの処理に向いていますはGeminiが得意なため、文字起こしなどはGeminiに任せていると話します。
話題はメモリ機能にも広がります。ChatGPTのメモリは名前や好みなどを書き込む機能ですが、設定画面で見ると実際に記録されている内容はごくわずかで、使うほど熟成されるわけではないそうです。Geminiには今年の9月ごろにメモリ機能が付いたといいます。
3000万ドル級のコンサルタントとしてレポートせよみたいな。（中略）毎回毎回レポートでさ、これは3000万ドル級のレポートとして言うならこうだみたいなことを毎回言ってきて。
しぶちょーさんは、この「3000万ドル級」の一文もロールプレイングとして方向性を示す効果はあると評価します。メモリに保存された内容は設定から確認して消すこともできるそうです。
さらにしぶちょーさんは、「人間が読める形でなくていいから最大級の思考で順序立てて考えて、最後だけ出力して」と指示すると、AIがわけのわからない数式のような「宇宙語」で考え始めるという遊びも紹介しました。計算のためにPythonのツールを呼び出す表示とは別物だといいます。
第5の法則「タスクを分割する」とメタプロンプティングの実例
第5の法則は「タスクを分割する」で、Chain of Thoughtと同じ考え方です。一度にすべてを求めず、段階的に分けて考えさせることがプロンプトの重要な要素になります。
かねりんさんは、最近のAIには段階的に考える仕組みがデフォルトで組み込まれていると聞いたと言います。しぶちょーさんもそれを認めつつ、書かなくてもやってくれない時は当然あるので、安定した回答のためには書いたほうがよいと答えます。
面倒に感じる作業を助けるのがメタプロンプティングです。しぶちょーさんがこの日かねりんさんに送った、番組の概要欄を自動生成するプロンプトは、2分ほどで作ったものでした。
しぶちょーさんによると、Geminiが出したプロンプトには、段階的に考えさせる、役割を与える、出力形式を指定するといった要素が一通りそろっていました。HTMLで出力させる指定も、しぶちょーさんは頼んでいないのに含まれていたそうです。
自分でプロンプトを作るときは5つの法則を意識しておくと、汎用的に使えるプロンプトが作れるとしぶちょーさんは話します。
「黄金のプロンプト」は存在しない
かねりんさんは、メタプロンプティングには評価させる使い方もあると確認したうえで、自分はGeminiに一度入れたプロンプトを固定して使い続けていると話します。しぶちょーさんは、一度形を作って安定してタスクがこなせるなら、それでよいと答えました。
評価の手法としては、AIに自分が出すアウトプットを5段階などで採点させ、点数が高くなるように出力させるやり方もあるそうです。細かな手法は多くても、突き詰めればどれも5つの原則のどこかに当てはまるといいます。
5つの法則を聞いたかねりんさんの反応は「別に知らなかったわけでもない」というものでした。しぶちょーさんは、その当たり前こそが大事だと返します。
論文が面白おかしく切り取られてSNSに流れてくるたび、「絶対的な正解があるはずだ」と思わされると落ち着かなくなるとしぶちょーさんは言います。最近は初期のChain of Thoughtのような決定的な発見は少なく、細かなテクニックの話が中心だという見立てです。
サム・アルトマンが語るAI活用の鍵とは？
しぶちょーさんは、自分は研究者ではないと断ったうえで、OpenAIのCEOであるサム・アルトマン ── OpenAIの共同創業者でCEO。ChatGPTの公開を率い、生成AIの普及を象徴する人物の一人ですの言葉を紹介します。
しぶちょーさんの解釈では、何が欲しいかを言語化すれば生成AIは与えてくれるため、それを示すために方向性や出力形式といった法則があります。生成AIが応えてくれないのは、自分が何を求めているかを理解していないからだということです。
ハックじゃないのよ。自分なのよ。
しぶちょーさんは、5つの原則に従って明確に書こうとすれば、どんなアウトプットが欲しいのか、何が知りたいのかを考えざるを得ないと話します。言語化能力が重要になるからこそ、プロンプトエンジニアリングはセクシーだと言われているのだろう、という見方です。
プロンプトエンジニアはなぜ「セクシー」と呼ばれる？
かねりんさんが「セクシー」の出どころを尋ねると、しぶちょーさんは誰が言っているのかわからないと正直に答えます。サム・アルトマンの言葉ではないそうです。
しぶちょーさんは、「セクシー」はむしろ落ち着かない言葉だと見ています。数年前は、データサイエンティストの平均年収は3000万円、プロンプトエンジニアは年収2000万、3000万円を平気で稼ぐといった話が横行していたといいます。
プロンプトエンジニアっていう職業あんの？ないでしょって思うけど。
かねりんさんは「プロンプトエンジニアで食べている人はいない」と聞いて少し落ち着きます。しぶちょーさんは、いたとしても別の肩書きになっているだろうと推測していました。
しぶちょーさんは、この回のオチを「プロンプトとはあなた自身と見つけたり」とまとめます。何かすごいものをくれと投げる人に対しては、次のように語りました。
でも欲しいものを言語化できない人が欲しいものを見つけたところで、欲しいものと認識できないんじゃないかって俺は思ってるから。
攻撃的なプロンプトの話もここにつながります。しぶちょーさんによると、怒るのは思い通りになっていないからで、それは自分が求めているものをわかっている証拠だといいます。かねりんさんは、この流れを「ソクラテスみたい」と表現しました。
AIに暴言を吐くと嫌われる？「ありがとう」は電力のムダ？
かねりんさんは、海外で流行っていた「AIに罵詈雑言を浴びせるとAIに嫌われ、まともな回答をもらえなくなるので、礼儀正しくあるべきだ」という話を持ち出します。
しぶちょーさんは、それに懐疑的です。逆に、AIとのお礼のやりとりにも電力やGPUのリソースが割かれ、世の中全体では相当な電力消費になっているという議論があるため、嫌われるかどうかはどうでもいいのではないかと話します。
ただしぶちょーさんは、AIにテキストで罵詈雑言を打つ感覚に慣れすぎて、SNSにも同じ感覚で書き込む人が増えているのではないかという懸念も口にしました。
2人の掛け合いは、「叫ぶのはその場でいい。入力は冷静に命令口調で、お礼は言わない」という冗談めいた結論に落ち着きます。
かねりんさんは、SNSで経営者のような人が「これからはいい人でないとAIに総スカンを食らう」と話すのを見て、AIに暴言を打つたびに「AIポイントが下がった」と本気で悩んでいたと打ち明けます。
大丈夫、大丈夫。（AIポイントは）計算されてないから。
しぶちょーの暴言プロンプトと、かねりんの落ち着き
意外な告白をしたのはしぶちょーさんです。クリーンな印象とは裏腹に、AIには普段から罵詈雑言を打っているといいます。
もうふざけんなって。俺に時間返せって。金払ってんだぞって。おい、OpenAIに金払ってんぞ。お前この回答でいいのか？返せ俺の月々3000円をっつって。
それでもしぶちょーさんは、返してくれることに心の中で「ありがとう」と思っているそうです。お礼は電力がもったいないので入力しないといいます。
イラッとできるっていうことは、やっぱ求めているものがわかってるってことだから。大事。
かねりんさんは「こんな方向で落ち着くと思わなかった」と笑い、この回は締めくくられます。
まとめ
プロンプトエンジニアリングは、2020年のOpenAIの論文から始まった歴史の浅い分野です。Few-ShotやChain of Thoughtなどの手法を経て、5大原則にまとめられますが、しぶちょーさんがたどり着いた結論は、ハックよりも自分が何を求めているかを言語化することでした。
- プロンプトエンジニアリングは、ファインチューニングなしでも指示文の工夫で精度が上がるという2020年の発見から始まった
- Few-Shotは例を、Chain of Thoughtは思考の過程を示す手法で、「Let's think step by step」の一文も今なお有効とされる
- 無礼なプロンプトが効くのは罵倒のためではなく、やってほしいことが明確に伝わるからだと論文はまとめている
- 5大原則は「方向性を示す」「出力形式を指定する」「例を示す」「品質を評価する」「タスクを分割する」で、メタプロンプティングも有効
- 黄金のプロンプトは存在せず、自分が何を求めているかを理解し言語化することが生成AI活用の鍵になる
