作ったきり確かめていない仕組みが、けっこうありました

AIに任せる仕組みを作ったあと、それがちゃんと動いているか確かめていますか、という話です。作った仕組みは増えたのに、点検はしていなかった個人クリエイター向け。昨日買った「AIスキル図鑑」で自分のスキルが46本あると分かり、名前も知らないもの、使っているつもりで使えていなかったもの、使用回数が1〜3回しかないものが出てきました。文字起こしのGroqも、キーを挿したはずなのに効いているか分からず、原文をずっと見ていなかったことに気づきます。数字を鵜呑みにせず数え方のほうを疑う話と、Claude Codeの週次利用枠の中で完結させたいのでトークンの使われ方を把握しておきたい話も。後半はMVの進捗と、自分で書いたプロンプトが一番いい理由についてです。重要なポイント

1. AI秘書の運用は、だいぶ形になってきた

出先で思いついたことを秘書に投げてリストアップしてもらい、帰宅したら上から順に全部実行してもらう形ができた。今どこで止まっているか(ボールがこちら側にあること)も向こうから教えてくれる。日常のことはDiscordの専用部屋に投げると吸い出してObsidianへ転記し、使える・使えない、何々のネタ、やること、と仕分けまでしてくれる。そこからポストの下書きまで作ってもらっていて、「これは結構よくできたな」と思っている。少し前に作って止まっていた日報ツール(1分ごとくらいに画面をスクショしてOCRで文字起こしし、1日の終わりに日報としてまとめる)も、また動かし始めた。この流れが回れば発信頻度がもう少し増えるかもしれない。

2. スキルが46本あることを、昨日はじめて知った

昨日発売されたゆーき丸さんの「AIスキル図鑑」というBrainを、事前登録のクーポンで500円で購入。実際にやってみたら、自分のスキルが全部で46本あった。「いつの間に?」という感じで、名前も知らないスキルがあった。使っているつもりだったのに使えていなかったスキルも全然あった。教材はこちらから→ https://brmk.io/6rJwIl

3. 使用回数1〜3回は、たぶん数え方の問題でもある

出てきた使用回数が1回とか3回とか、そんなものばかりだった。ただ、これは最初に一回起動したときの回数だけを数えているのではないかと思っている。自分はセッションの最初にスキルを起動して、そのままセッション内でずっと長く会話する使い方をしていて、「これってスキル内で動いてるの?」と聞いたら「動いてます」と言われるので、いちいち起動し直していない。その数え方なら確かに少なくなる。正しいかどうかは分からないので、使えていないスキルを消す前に、帰宅したらAIに数え方のほうを確認する。

4. 文字起こしも「設定したつもり」かもしれない

音声配信の文字起こしは、どうやらWhisperを使っているらしい。以前、精度が良くないからとGroq(XのGrokではない方。ハイパー安い)のAPIキーを挿したはずなのに、本当に使われているかは分からない。内容を読んだ感じでも精度が上がっている気がしない。原因のひとつは、できあがった要約や記事は毎日見ているのに、その手前の原文の文字起こしを最近まったく見ていないこと。原文の段階で誤変換や文脈を無視した単語になっていると、その後に作るものは全部そこに引っ張られる。ここも要確認。

5. Claude Codeの週次利用枠の中で完結させたいので、把握しておきたい

細かいところが次から次へと出てくる中で、自分の作った仕組みやAIが今どんなふうに動いているのかは理解しておきたい。理由のひとつはお金で、Claude Codeのメインモデル(Fable 5)には週ごとの利用枠があり、できればその枠内で完結させたい。今日木曜の時点で今週の残りは半分をちょっと切ったくらい。これからまだまだ作業するし、ゲームの開発がいちばんトークンを食うので、くだらない雑談で消費しないよう大事に使いたい。何が空回りしているか分からないままだと、削りようもない。

6. 予定管理と、制作まわりの残タスク

朝に一回向こうからメッセージが来るだけでも助かっている。自分から確認しに行くのは、特に予定のような楽しくないものだと面倒で忘れるため、予定管理もAIに任せようかと思っている(旦那とはカレンダーを共有していて、書いたものはお互い見られる)。制作のほうは、今回のMVは頭から1サビの終わりくらいまで、だいたい90秒くらいの尺で半分ほどできた。あとは生成しながら編集でカットを変えていく。Antigravityで作業していたタイムラインとプロンプトが今のClaude Codeに同期できていないので、これも同期したい。結局なんだかんだ、自分で書いたプロンプトが一番生成結果がいい。AIのぽん出しをそのまま使っても面白くないのは、自分の好みや書き方、うまくいったときのフィードバックが入っていない状態で作られているからだと思っている。

This is a public episode. If you would like to discuss this with other subscribers or get access to bonus episodes, visit anko1oo7.substack.com