Question 1

なぜ公式のベンチマークスコアだけでなく「自分専用のベンチマーク」が必要なのか？

Accepted Answer

公式の数値スコア（定量評価）はテスト内容に特化しすぎており、自分の実務に役立つかが分かりにくい 自作のベンチマークは数字ではなく、「ここが良くなった」という感覚的な手応え（定性評価）で十分である 自分専用の物差しを持つことで、新しいAIモデルが出た際にも惑わされず落ち着いて性能の差を測れる

Question 2

有名な「ペリカンベンチマーク」とはどのようなもので、なぜ引退しつつあるのか？

Accepted Answer

「自転車に乗るペリカンのSVGを生成せよ」という、コードで描かれるベクター形式の動画・画像を作らせるテストである モデルの進化に伴って描画クオリティが向上し、AIの性能差が一目で分かる優れた指標として使われていた 各モデルが優秀になりすぎて差が出にくくなった（頭打ちになった）ため、実質的に引退状態となっている 優れたベンチマークであってもAIの進化によっていつかは機能しなくなるため、定期的な見直しが必要になる

Question 3

自分流のAIベンチマークを作成する際に押さえるべき「視点」とは何か？

Accepted Answer

自分の専門領域であり、細かな違いや違和感を目利き・言語化できるテーマであること 将来的にAIへ任せたい実務やタスクの縮小版であること 「できた・できない」の0か100かではなく、達成度を段階的に評価できる難易度であること 結果が一目で分かり、ビジュアル的に人に見せたり比較したりしやすいこと 新モデルのたびに手軽に回せるよう、30分程度で結果が出るタスクであること

Question 4

ベンチマークを正しく測定するために「派生課題」や「複数回試行」が重要なのはなぜか？

Accepted Answer

有名なお題はAIモデル側が事前学習で最適化してしまう恐れがあるため、類似の派生課題（シャドウ課題）も用意して実力を確かめる 1回の出力だけでは偶然のブレがあるため、別のセッションで3〜5回走らせて平均的な性能を見る必要がある 同じ条件で複数回試行することで、公開後にAIの性能が下がってしまう現象（ナーフ）を早期に見抜くことができる

Question 5

かねりんが考案した「引退ベンチマーク（欠損回補完）」とはどのようなアイデアか？

Accepted Answer

機材トラブルで自分の声だけが録音されなかった過去のポッドキャスト音源（ep.31）をAIに渡し、相方のセリフや文脈を補完させるテスト 文章の文脈補完力に加え、動画描写、BGM、テロップのセンスなど総合的な編集能力を評価する 単に本人を再現するだけでなく「人間同士の対話よりも面白い対話」をAIが作れたら、MCとして引退を考えるという基準を持つ

Podcast振り返り

新しいAIはどれがいい？自分専用のベンチマークで見分ける方法(ep.111)

Podcast振り返り

新しいAIはどれがいい？自分専用のベンチマークで見分ける方法(ep.111)