使い込んだスキルに潜む「無駄な指示」と「足りない手順」
今回のテーマは、Claude Codeの公式機能を使って、自分のスキルが今のAIモデルに最適化されているかを検査する方法です。
何度も使いながら改善してきたエージェントスキル ── AIエージェントに特定の作業をさせるための手順や指示をまとめたもの。Claude Codeでは、繰り返し使う作業をスキルとして登録し、呼び出して使えますには、さまざまな指示や検証が書き足されています。たいちさんは、その1行1行が今のAIモデルにとって本当に必要なのかと問いかけます。
たいちさんが指摘する問題は、無駄な指示が残っていることだけではありません。明確な手順を書くべきなのに書かれていないため、AIがその場で情報を探し回り、自分で考え、トークンや時間を浪費しているパターンもあるといいます。
良いエージェントスキルとは、今のAIモデルにとって無駄な指示はゼロで、かつ必要な手順は網羅されているものです。
たいちさんによると、AIモデルの性能が上がれば、モデルにとって最適なスキルの内容も変わります。ただ、スキルを一文ずつ精査し、消したり足したりしながら検証を繰り返す作業を手でやるのは大変すぎると話しています。
今のAIモデルにはもう必要ない指示が残っている
書くべき手順がないため、AIが毎回探し回り、自分で考えて時間とトークンを浪費する
skill-creatorの評価機能はどう動くのか？
スキルの評価作業を楽にする手段としてたいちさんが紹介するのが、Claude Code公式のskill-creatorです。skill-creatorはClaude Codeに標準で入っていて、スキルを作ったり直したりするときには自動で使われています。
skill-creatorには、スキルを評価する機能も入っています。たいちさんによると、使い方は「○○のスキルをskill-creatorを使って評価して」と頼むだけです。
評価を頼むと、Claude Codeは同じ指示をスキルありとスキルなしの2通りで、サブエージェント ── メインのAIエージェントから作業を切り出して任される別のエージェント。複数を並行して動かせるため、条件を変えた実行を同時に試せますを使って同時に実行します。
結果の評価では、AIが「この項目は達成できている」「この項目はできていない」という客観的な検査項目を自分で作って検証します。そのうえで、検査項目の達成状況、実行時間、トークン消費を、スキルありとスキルなしで比べます。
依頼
「○○のスキルをskill-creatorを使って評価して」と頼む
並列実行
同じ指示をスキルあり・なしの2通りでサブエージェントが同時に実行する
検査項目の作成
AIが達成・未達成を判定できる客観的な項目を自分で作る
比較評価
検査項目、実行時間、トークン消費をスキルあり・なしで比べる
たいちさんは、スキルありとなしを比べることで、その指示が今のAIモデルに本当に必要かがわかると説明します。逆に、必要な指示が書かれていないせいでAIが自分で考えてしまっている箇所も見つかるといいます。
動画作成スキルを評価して見つかった改善点
たいちさんは、skill-creatorの評価機能で自分のスキルを実際に検証しました。試したのは、収録した音声からYouTube動画を作成するスキルで、この回の動画もそのスキルで作っているそうです。
結果として、僕の動画作成スキルには改善点がかなりありました。
特に目立ったのは、スライド画像の作成や成果物の検証の工程です。プログラムにすべきところがプログラムになっていないため、AIがスキルを実行するたびに毎回自分でプログラムを書いて検証している箇所がいくつもありました。
その影響で、スキルの実行時間は20分ほど延び、毎回数万トークンを無駄に使っていたといいます。これは、1つ目の話で出てきた「必要な手順が書かれていないせいでAIが自分で考えてしまう」パターンにあたります。
スライド画像作成や成果物検証を、AIが実行のたびに自分でプログラムを書いて処理していた
評価によって、プログラム化すべき工程がわかった（実行時間約20分・毎回数万トークンの無駄が判明）
skill-creatorの評価結果はレポートとして出力されるだけで、スキルがいきなり修正されることはありません。たいちさんは、レポートをドキュメントにまとめてもらい、その中から1つずつAIに指示して対応してもらいました。
注意点はトークン消費の多さ
たいちさんは、skill-creatorの評価機能には注意点が1つあると話します。それは、トークンを大量に消費することです。
評価では、スキルありとなしを並列で実行し、さらに各評価項目を厳密に検証したうえでレポートも作ります。そのため、スキルを1回実行するのに比べて、少なくとも倍以上のトークンを消費するといいます。
なので、このスキルクリエイターの評価機能を使う時はトークンに余裕がある時がおすすめです。
番組の最後に、たいちさんは、よく使っているスキルを1つ評価してみるよう勧めています。頼み方は「○○のスキルをskill-creatorを使って評価して」だけで、かなりたくさんの改善点が見つかるはずだと話しています。
まとめ
使い込んだスキルには、今のAIモデルには不要な指示と、書かれていないために無駄を生む手順の両方が潜んでいる可能性があります。Claude Code公式のskill-creatorに評価を頼めば、スキルあり・なしの比較からその両方を見つけやすくなります。
- 良いスキルは、無駄な指示がゼロで、必要な手順が網羅されている
- skill-creatorに「○○のスキルを評価して」と頼むと、スキルあり・なしを並列実行して比較評価する
- たいちさんの動画作成スキルでは、プログラム化されていない工程が実行時間約20分と数万トークンの無駄を生んでいた
- 評価結果はレポートとして出るだけなので、修正は1つずつAIに指示して進める
- 通常の倍以上のトークンを使うため、余裕があるときに試すのがおすすめ
