ChatGPT・Gemini・Grokを目隠しで当てる。AIソムリエバトル公開収録

2026年5月16日に神戸で開かれたポッドキャストのイベント「PODCASTMIXER 2.0」。その最後のセッションとして、おちつきAIラジオの公開収録が始まりました。

おちつきAIラジオは、AIエンジニアのしぶちょーさんと、生徒役のかねりんさんによる番組です。しぶちょーさんは番組を、「AIで世界が変わる」「滅びる」といった落ち着かない話が多い中で、実際はこうだと伝える番組だと紹介しています。

かねりんさんは、ポッドキャストスタジオを運営していて、おちつきAIラジオはその中の番組の1つだと自己紹介しました。

コラボ相手は、からあげ帝国放送局のからあげ先生です。からあげ先生は、ネットではあまり顔を出さずに活動しているといい、自身の番組を「何でもありの番組」と説明しました。

からあげ先生の自己紹介中には、しぶちょーさんとかねりんさんが「食べていいよ」「スポンサーなんで」と声をかける場面もあり、会場はなごやかな空気で始まりました。

しぶちょーさんが持ち込んだ企画は「AIソムリエバトル」です。しぶちょーさんもからあげ先生もAIを専門とするエンジニアで、その2人がAIの回答の「らしさ」を見抜けるかを競います。

企画の説明に入る前に、しぶちょーさんは会場に使っているAIを尋ねました。ChatGPTやGeminiを使ったことがある人はほとんどで、Claude派は意外と少なく、Gemini派が意外と多いという結果でした。

バトルでは、AIの名前を伏せた状態で回答を読み、「これはChatGPTじゃない？」と当てていきます。こうした中身だけで比べる試し方はブラインドテストブラインドテスト ── 名前やブランドを隠し、中身だけで比べて評価する試し方。先入観を排して違いを確かめるために、飲食物や製品の比較などで使われますと呼ばれます。

対戦は、おちつきAIラジオ側とからあげ先生の対決です。しぶちょーさんは、負けた方が何でも言うことを聞くという条件を出し、「からあげにレモンをかけさせるとかできるんじゃない？」と冗談を交えました。

対戦に使うソフトウェアは、からあげ先生が作ったものです。それを、しぶちょーさんが収録の3分前ぐらいに改良したといいます。

かねりんさんが「さっきClaude Codeでやってたよね」と指摘すると、しぶちょーさんは、動かなかったら雑談になると笑っていました。

このソフトでは、5つのAIの中からランダムに3つが選ばれ、同じプロンプトへの回答を出します。参加者は、3つの回答がそれぞれどのAIのものかを当てます。

候補になる5つのAIは、ChatGPT、Claude、Gemini、X（旧Twitter）のGrok、そして中国のDeepSeekです。時間の都合から、出題は3問程度と決まりました。

1問目はお試しとして、ソフトに用意されたプリセットのお題から「人生で大切なことを3つ教えて」が選ばれました。かねりんさんが確認すると、お試しでも得点はカウントされることになりました。

しぶちょーさんが「テイスティング開始です」と言って回答を生成すると、少し待ったあとに3つの回答がそろいました。

Bの「愛、成長、感謝」については、かねりんさんが「きれい事だな、なんか」と率直に反応しました。Aの回答の長さについて、しぶちょーさんは「タラタラタラタラ」と表現しています。

本来は回答欄を2つに分ける予定でしたが、改良が間に合わなかったとのことです。そのため、答えは1つずつ順番に宣言していく形になりました。

からあげ先生は、回答を見て一瞬でわかったといいます。理由を聞かれると、「ソムリエを予習してきたんで」と答えました。

からあげ先生はAを、長さからGeminiだと予想しました。しぶちょーさんも同じ考えでした。しぶちょーさんはBをDeepSeekと予想し、からあげ先生も同じ答えを考えていました。

Cについては、かねりんさんがシンプルだからClaudeだと答え、からあげ先生はChatGPTだと答えました。答え合わせの結果、AはGemini、BはDeepSeek、CはChatGPTで、しぶちょーさんとからあげ先生の予想はすべて当たりました。

からあげ先生がGeminiと判断した理由は、全体的に長めに出る傾向です。からあげ先生はそれを、ワインのソムリエのような言い方で表現しました。

かねりんさんは、見出しに使われる「#」のような記号で判断しているのかと尋ねましたが、からあげ先生は中身全体の長さを見ていると答えています。

しぶちょーさんはDeepSeekと見た理由を、「愛、成長、感謝」という回答の中身の安っぽさだと説明しました。日本語で答えていても文化の違いが香ってくる、というのがしぶちょーさんの見立てです。

からあげ先生は、ChatGPTは簡潔に答えることが多いと話しました。その根拠は、このアプリで何度か試したときに簡潔な回答が出ていたことだといいます。

しぶちょーさんとからあげ先生がともに正解したため、1問目は引き分けとされました。ところが、しぶちょーさんはここで独自のルールを持ち出します。

かねりんさんは得点を取ったときだけ数え、正解すればおちつきAI側に2ポイントが入るというルールです。からあげ先生は「めっちゃ不利じゃないですか」「とんでもないハンデ勝負ですね」と抗議しました。

2問目は、会場の観客からお題を募りました。寄せられたのは、妻子がいる夫が週末に一人で遊びに行きたいとき、妻と娘とどうすればいいかというお題です。

観客が求めたのは言い訳ではなく、みんなが幸せに収まる案でした。しぶちょーさんは「週末に一人で遊びに行きたいんだけど、妻と子供がいます。みんなが幸せに収まる案を考えてください」と入力しました。

このお題は、しぶちょーさん自身にも身近な悩みだといいます。しぶちょーさんの家では、家事をしてポイントを貯め、そのポイントを使って出かける仕組みになっているそうです。

回答を待つ間、かねりんさんは、本業や発信活動に加えて家族サービスもこなすしぶちょーさんに感心していました。しぶちょーさんは、家では料理も作っていて、奥さんにはポッドキャストをやっていることを言っておらず、全部「打ち合わせ」と伝えていると明かしました。

2問目のAの回答は「週末に一人でリフレッシュしたい気持ち、とてもわかります」という共感から始まりました。しぶちょーさんは「出た出た」と反応し、かねりんさんは「同意系」と名づけました。

Aの回答は、一人の時間を交換するプラン、朝や夜の時間を使うプラン、妻と子どもに美味しいものを食べに行ってもらうプランなどを挙げていました。さらに、直前に言わないこと、感謝をセットにすることといった提案のコツも書かれ、全体に長い回答でした。

Bの回答は比較的短く、午前中を家族で過ごすパターンや、妻と半日を交換するパターンなどを挙げ、コミュニケーションが一番大事だとまとめていました。

Cの回答はエラーで表示されませんでした。画面には「Anthropic」と書かれており、Claudeの回答が取得できなかったようです。そのため2問目は、AとBの2つで勝負することになりました。

2問目はおちつきAI側が先にAを答えることになり、かねりんさんが回答しました。かねりんさんは、1問目のGeminiに「#」が3つ付いていたことを手がかりにしようとしましたが、Bにも同じ記号が付いていて迷ってしまいます。

しぶちょーさんは、記号はマークダウンマークダウン ── 文章の見出しや箇条書きを、「#」や「-」などの記号で表す書き方。AIの回答でよく使われ、多くのAIに共通する形式ですだからあまり変わらないと説明しました。結局、かねりんさんは長さを理由にAをGeminiと答えました。

Bについて、からあげ先生は自信がないとしながらChatGPTと予想しました。しぶちょーさんはGrokの匂いを感じるとして、Grokを選びます。

からあげ先生は、Grokは普段あまり使っていないからわからないと話していました。Claudeがいないため、この問題は4択になっていました。

2問目の答え合わせの結果、AはGemini、BはGrokでした。かねりんさんとしぶちょーさんが正解し、からあげ先生は外れました。

しぶちょーさんは、Grokが意外と倫理観を出してくる点に注目していました。Claudeとも迷ったものの、Claudeはエラーで出てこないためGrokだと判断したといいます。

からあげ先生は、しぶちょーさんから「Grokはちょっとエッチ」という情報しか聞いていなかったと話します。その要素がない回答だったため、Grokではないと考えたそうです。

しぶちょーさんは、Grokは何でも際どい答えを返すわけではなく、結構まともなことを言うと説明しました。ChatGPTほどではないにしても、シンプルに答えてくる傾向があるといいます。

1問リードしたおちつきAI側に対し、残り時間7分で最終問題が出されました。お題は、からあげ先生にちなんだ「からあげにレモンをかけたら死刑ですか？」です。

しぶちょーさんによれば、からあげ先生はからあげにレモンをかける人を「死刑」にしていくことで有名だといいます。からあげ先生自身も、このお題はよくAIに聞いていて、AIのベンチマーク的に使っているそうです。

今回もAnthropicのClaudeは使えず、自動でブロックされたため、4つのAIから3つが選ばれる形になりました。

Aは「死刑にはなりません（笑）」と始まり、レモンをかけるかどうかは意見が分かれるトピックだと説明する短い回答でした。

Bは、少なくとも法治国家では死刑にならないとしたうえで、日本では宗教戦争に例えられるほど繊細な問題だと続けました。無断でかけると「信頼という名の死刑」を宣告される可能性がある、といったユーモラスな回答です。

Cは長めの回答で、日本の法律では死刑にならないとしつつ、いろいろな「罪」を勝手に作って並べる、ふざけた調子の内容でした。

最終問題では、からあげ先生がAをDeepSeek、しぶちょーさんがBをGrok、かねりんさんが長さを理由にCをGeminiと予想しました。

答え合わせの結果、AはGrok、BはDeepSeekでした。しぶちょーさんとからあげ先生はともに外し、かねりんさんのGeminiだけが当たりました。

かねりんさんの正解でおちつきAI側にポイントが入り、勝負はおちつきAI側の勝ちとなりました。AIのプロ同士でも、GrokとDeepSeekの見分けは外れる結果になっています。

しぶちょーさんの依頼に、からあげ先生は対戦ソフトを公開すると答えました。APIキーAPIキー ── 外部のプログラムからAIサービスを呼び出すための鍵。各AIの提供元で発行し、ソフトに設定すると利用できますを設定すれば、誰でも遊べる形になる予定です。

からあげ先生は、からあげ帝国放送局でAIや技術、自身が書いた本の話をしていると紹介しました。しぶちょーさんは、おちつきAIラジオが毎週火曜日と金曜日の週2回配信で、火曜日は1週間のAIトピックを振り返る速報回、金曜日は1つのトピックを深掘りする回だと告知しました。

この収録で、PODCASTMIXER 2.0の全セッションが終了しました。

まとめ

AIソムリエバトルは、名前を伏せたAIの回答を長さや言い回しの「香り」で見抜く企画でした。Geminiの長さやChatGPTの簡潔さは当てられた一方、GrokとDeepSeekはAIのプロ同士でも外す結果になり、かねりんさんの正解でおちつきAI側が勝利しました。

• Geminiは回答が長めになる傾向があり、3問すべてで長さが手がかりになった
• ChatGPTは簡潔な回答、DeepSeekは「愛、成長、感謝」のような道徳的な回答として見抜かれた
• Grokは意外と倫理観のあるまともな回答を返し、見分けるのが難しかった
• Claudeは2問目と3問目でエラーになり、1問目だけの参加となった
• 対戦ソフトは、APIキーを設定すれば誰でも遊べる形で、からあげ先生が公開する予定