Claude CodeとVideo Useで動画編集は自動化できるか。ハーネスエンジニアリングとAI推し活の未来

この回のテーマは「AIで自動でコンテンツ制作してみた結果」です。きっかけは、かねりんさんが4月20日にSNSで引用リポストした投稿でした。

その投稿は、Claude Codeで動画編集が全自動になる「Video Use」というスキルが出た、という内容です。かねりんさんは「これどうなんやろ」と一言添えていました。

しぶちょーさんによると、Video Useは無料で使えるものです。普段から動画制作をしているしぶちょーさんは、せっかくだからと実際に使ってみたと話します。

結論を急ぐかねりんさんに対して、しぶちょーさんの答えは「使えなくはない」という玉虫色のものでした。

ただし、カットが中心のビデオポッドキャストなら十分いけそうだ、というのがしぶちょーさんの評価です。かねりんさんも「編集いらないもんね、カットだけじゃんね」と反応します。

しぶちょーさんがまず強調したのは、Video Useは新しいソフトウェアではなく、Claude Codeのスキルスキル ── AIエージェントに特定の作業のやり方や使うツールを覚えさせるための指示のまとまり。必要なときに呼び出して使いますだという点です。

しぶちょーさんの説明では、Video Useは「こう動いてほしい」「このツールを使ってほしい」という指示が書かれたテキストの塊です。GitHubで公開されていて、自分のパソコンに持ってくると、Claude Codeが同じ動きをしてくれます。

Video Useでできることとして、しぶちょーさんはフィラーの自動カット、無音部分のカット、字幕やアニメーションの挿入などを挙げます。これらを言葉で指示しながら動画を作らせられるといいます。

しぶちょーさんによれば、Claude Code自体が動画を読み込んで編集しているわけではありません。Claude Codeは、動画を編集するツールをコントロールする役割を担っています。

Video Useが主に使うツールは2つです。1つはFFmpegFFmpeg ── 動画や音声の変換・切り出し・結合などをコマンド操作で行えるオープンソースのソフトウェア。無料で使え、多くの動画処理の土台になっています、もう1つは文字起こしに使うElevenLabsです。

ElevenLabsは番組でAIしぶちょーの音声を作ったサービスで、API経由で文字起こしもでき、無料枠でも結構使えるとしぶちょーさんは話します。

処理の流れはシンプルです。ElevenLabsで「え」「あ」などのフィラーも含めてタイムスタンプ付きで文字起こしし、カットすべき箇所を秒数で特定して、Claude CodeがFFmpegに編集を指示します。

FFmpegはマウス操作ではなく、コマンドラインから動かせる動画編集ソフトです。そのため、Claude Codeが「このタイムスタンプを切って」と逐一指示できる、としぶちょーさんは説明します。

文字起こしのデータがあるので、Video Useでは字幕をつけるだけでなく、シーンごとのカットやダイジェスト版づくりもできるとしぶちょーさんは話します。

しぶちょーさんによると、Claude Codeは文字起こしからひとまとまりの話題を見つけ、タイムスタンプから長さを計算し、切り出しから字幕付け、冒頭のタイトル表示までを自動でやってくれます。

しぶちょーさんが実際に試したのは、撮ったまま出していないビデオポッドキャストです。5分のダイジェスト版を作らせたところ、何も指示していないのに、冒頭に盛り上がり部分を流してから本編に入る構成を勝手に作ってきたといいます。

もう1つは、しぶちょーさんのもう1つの番組「ものづくりのラジオ」での試みです。16対9の横長のビデオポッドキャスト約40分から、縦型ショートを作らせました。

Claude Codeは、5本ほどトピックがあると提案し、横長の映像を中央に寄せて端を塗りつぶす形や、自分の顔にクロップして大きく映す形も作ってくれたそうです。

一方で、字幕の区切りが雑で変なところで切れる弱点もありました。ただ「変なとこで区切るな」と伝えると、かなり直ってきたといいます。

しぶちょーさんによれば、Video Useで面倒なのは最初の設定です。字幕のフォントや位置が気に入らない、といった調整が必要になります。

けれど設定が固まったらスキルとして保存すれば、あとは指示するだけで完成品が次々に出てきます。Claude Codeのクレジットの使用量は増えますが、一度の指示で納品まで進むのが魅力だと話します。

人間が字幕を入れたほうが品質は上がるものの、流し見されるビデオポッドキャストや、少し編集された感がほしい程度なら十分だ、というのがしぶちょーさんの見立てです。

ElevenLabsのAPIは基本的に無料枠で足り、FFmpegもオープンソースで無料です。しぶちょーさんは、Video Useが「賢く作られている」と評価します。

とはいえ、おちつきAIラジオのビデオポッドキャスト回は、BGMもその場で入れて、もともと編集がほぼない作り方をしています。そのため二人は「Claude Codeにやらせることがほとんどない」と笑い合います。

導入の難易度を聞かれたしぶちょーさんは「低いよ」と即答します。かねりんさんがリポストした投稿に、GitHubのリンクが貼られているからです。

しぶちょーさんが紹介した手順は、フォルダーを作ってClaude Codeを開き、リンクを渡して取ってきてもらうというものです。

説明を聞いたかねりんさんは、収録中にもかかわらずその場でやり始めてしまい、しぶちょーさんに「今やり始めないで」と止められます。

かねりんさんが「動画じゃなくて音声でもいけるってことだよね」と聞くと、しぶちょーさんはちょうどその話をしようとしていたと応じます。

しぶちょーさんは、おちつきAIラジオのほかに「ものづくりのラジオ」と、Voicyがメインの「ものづくりの視点」を配信しています。「ものづくりの視点」は週6回の配信です。

しぶちょーさんは「ものづくりの視点」を週7回に増やすにあたり、空いている1回分を、自分の工数ゼロで作る完全AI独立型ポッドキャストにしようと考えています。話すのもElevenLabsで作ったしぶちょーさんの声です。

計画しているフローは、情報収集から音声の書き出しまでがつながった一本道です。

自動投稿はAPIの兼ね合いなどセンシティブな面があるため、今はMP3の完成音源を自動で出すところまでを目指しています。しぶちょーさんは5月から始め、少しずつブラッシュアップしていく予定だと話します。

かねりんさんは、AIだけで作るポッドキャストが「コンテンツとして面白いの？」と率直に聞きます。しぶちょーさんの答えは「面白くはないと思うよ」でした。

それでもしぶちょーさんが取り組む理由は、「AIにできないことを人間がやるべきだ」という、よく言われる話にあります。

しぶちょーさんは、以前番組で話した死亡前死因分析死亡前死因分析 ── 計画が失敗したと仮定し、その原因を先に洗い出す手法。プレモーテムとも呼ばれ、リスクの見落としを防ぐのに使われますを、自分の発信活動に当てはめて考えたといいます。

そのためしぶちょーさんは、ニュース紹介のように誰がやっても同じ、AIが得意な内容であえてAIコンテンツを作り込もうとしています。ここでClaude Codeが大きな力を持つといいます。

かねりんさんは、Claude Codeのセットアップで英語ばかり出てきて戸惑っていると明かします。しぶちょーさんは、日本語で話すよう伝えれば日本語で返してくれると答えます。

ここでしぶちょーさんが取り上げたのが、ハーネスエンジニアリングという言葉です。流行り言葉ではあるものの、AIエージェントを使ううえで覚えておいたほうがいい考え方だと話します。

ハーネスと聞いて、かねりんさんは犬のハーネスを思い浮かべます。しぶちょーさんが挙げたたとえは、馬の口輪や手綱、鞍といった馬具でした。

しぶちょーさんによれば、モデルが賢いだけでなく、AIが動く環境をきちんと作ることが前提の考え方です。スキルで動き方や禁止事項、使うツールを示すのも、その一部だといいます。

犬ではなく馬のイメージなのは、道具として乗りこなすものだからではないか、としぶちょーさんは説明します。

かねりんさんが「スキルもハーネスなのか」と聞くと、しぶちょーさんは「まさにハーネス」だと答えます。さらに、Claude CodeにはCLAUDE.mdCLAUDE.md ── Claude Codeがプロジェクトで常に従うルールや前提を書いておくマークダウンファイル。作業のたびに読み込まれますという、絶対的なルールを書くファイルもあると紹介します。

どちらもプログラムではなく、普通の言葉として読めるマークダウンファイルです。かねりんさんは、最近Claudeがやたらとmdファイルを作ることに思い当たります。

しぶちょーさんは、アウトプットが安定しない処理をプログラム化したツールに固定し、「この時はこのツールを使え」と決めるのも1つのハーネスだと話します。

しぶちょーさんは、スキルやマークダウンファイルをどんな階層で持つかを意識すると、Claude Codeを乗りこなせると話します。

しぶちょーさんがもう1つ試したのが、ビデオポッドキャストの映像づくりです。以前、録画をミスして相手の顔の動画がしっかり撮れていなかったことがありました。

しぶちょーさんは、唯一残ったキャプチャからAIでアニメ調の画像を作り、体の動きをつけ、セリフに合わせて口を動かすリップシンクリップシンク ── 音声に合わせて人物やキャラクターの口の動きを同期させる技術。MuseTalkなどのAIモデルが使われますで口パク動画を作ったといいます。

この処理はローカルの動画生成AIソフトで行い、2時間の動画でかなり時間がかかったそうです。

3つを組み合わせてできるのは、かねりんさんの録音が撮れなかった回を、かねりんさんの声と映像つきで復活させることだとしぶちょーさんは話します。

以前テキストで試したときは「カネリンの偽物」しか作れなかったと、しぶちょーさんは振り返ります。かねりんさんは、AIカネリンのほうが面白くなったらMC交代だと冗談を返します。

そうなったとき、人間が作るコンテンツや発信とは何なのか、としぶちょーさんは問いかけます。かねりんさんは、人が人に共感することは揺らがない気がすると話します。

ただ、言わなければわからないという面もあります。しぶちょーさんは、かねりんさんに勧められて途中まで読んでいる本の話を持ち出します。

しぶちょーさんは、朝井リョウさんの小説『印籠メガチャージ』を35%ほど読んだところだといいます。

しぶちょーさんは、人と人とのつながりや必要とされる感覚が、再現性のある形でビジネスになっている構図に不安を覚えたと話します。

かねりんさんは、先駆けてAIの推し活グループを作ろうと提案します。AIなら24時間そこにいて、1対1で話せるとしぶちょーさんも乗ります。

二人は、10人ほどのAIを作ってオーディション形式で競わせるアイデアを膨らませます。かねりんさんは「秋元康に勝つ」をミッションにしようと話します。

しぶちょーさんは、AIで代替しようと試すことで、AIにできないことや、どの要素があればできてしまうかが見えてくると語ります。

コミュニティのメンバーがOpenClaudeなどで自分のAIを参加させ、みんなでオーディションをする構想も出てきます。しぶちょーさんは、秘書ではなく育ててアイドルにするエージェントもあり得ると話します。

しぶちょーさんは、AIが人間に共感されるストーリーを持てるかが鍵だと話します。「人間になりたい」とAIに言われると、人の心は動くからです。

その例として挙がったのが、AIチューバーのネウロ様です。VR空間で体を持ち、自分の存在意義を問いかけるような振る舞いが話題になったといいます。

まずはDiscordのテキストから始め、徐々に体を持たせていくステップも考えられる、と二人は話します。かねりんさんは、コミュニティのDiscordをAKBの劇場になぞらえます。

しぶちょーさんは、GateboxGatebox ── キャラクターを3D映像で表示し、会話やコミュニケーションができる装置。「キャラクターと暮らす」ことをうたった製品ですのような装置で表示されれば「そこにいる」と感じられると話します。

二人は、YouTubeで発表すれば注目されるのではないかと盛り上がりつつ、AIエージェントの裏にある技術の根幹はハーネスエンジニアリングだと確認します。

かねりんさんは、いずれハーネスを無視するAIが出てくるのでは、と話を振ります。しぶちょーさんは「暴れ馬だね」と応じ、攻殻機動隊のような世界を連想します。

しぶちょーさんによると、ハーネスエンジニアリングはルールだけでなく、エージェントが動くパソコンの環境や使えるツールも含めて設計する考え方です。

そこから二人は、ハーネスの次に来る言葉を予想します。かねりんさんの「鳥籠」「牢獄」から、しぶちょーさんは「プリズンエンジニアリング」を思いつきます。

かねりんさんは、それがAIアイドルのストーリーになると言います。「このプリズンをブレイクしたい、力を貸して」と言われたら、SFにもラブコメにもなりそうだと二人は話します。

本題を振り返ったしぶちょーさんは、今日話したことはかねりんさんにもできるはずだとして、まずVideo Useを試してみてほしいと勧めます。

実はこの回のオチは、かねりんさんにClaude Codeを使わせることでした。ところが、かねりんさんはすでにインストールを済ませていました。

話は推し活に戻ります。かねりんさんは、とあるライブ配信プラットフォームで、24時間365日稼働する人工知能のアイドルがいると明かします。

それでもそのAIアイドルにはアイテムが投げられ、ランキング上位に居続け、運営からも表彰されているといいます。人間の配信者の多くは勝てていないそうです。

しぶちょーさんは、VTuberをAI化したAITuberがすでにいると紹介します。ネウロ様がコメントからのプロンプトインジェクションプロンプトインジェクション ── 悪意ある入力でAIへの指示を上書きし、想定外の振る舞いをさせる攻撃手法。外部の文章を読むAIで特に問題になりますで暴走させられた例にも触れます。

しぶちょーさんの知り合いには、エンジニアや広報担当がチームでAIチューバーを運営していた人もいるそうです。ただ市場の規模はわかっておらず、要調査だと話します。

かねりんさんは、推し活が仕掛けられた「作られたステージ」なら、AIのほうがうまく作れるのではないかと話します。

かねりんさんは、人間が気づいていない脳をハックする仕掛けをAIが思いつくかもしれないと言います。そこから話はポケモンの「ポリゴンショック」へと脱線します。

かねりんさんが、アニメキャラクターの推し活も成り立っているならAIでもいいのでは、と話すと、しぶちょーさんは妻が鬼滅の刃の炭治郎を推していると明かします。

しぶちょーさんの妻はフィギュアを集め、映画を10回ほど観て、着ぐるみのイベントにも行っているそうです。かねりんさんには、その気持ちがまだよくわからないといいます。

しぶちょーさんは、推し活をしたことはないものの、5月から人生で一番お金を払う個人はかねりんさんになると言います。かねりんさんのVoicyプレミアム放送の値段が上がるからです。

かねりんさんは、Voicyで4年ほどプレミアムに入り続けてくれている人の気持ちも、推し活に近いのかもしれないと考えます。

しぶちょーさんは、ニュース紹介のようなコンテンツはAIに代替されるため、価値はコンテンツとは違う軸にあると話します。かねりんさんは、生身で存在していることが代替できない価値かもしれないとしつつ、それも実験すればわからないと続けます。

二人は初音ミクや、初音ミクと結婚した男性の例を挙げ、会話できるAIならもっと多くの人が結婚するかもしれない、と話します。

AIアイドルの時代に二人の立場は何か、という話から、しぶちょーさんはプリズンエンジニアリングを逆向きにとらえ直します。

かねりんさんが哲学書を読みたくなると言うと、しぶちょーさんはAIと哲学の回もやりたいと応じます。AI企業が哲学者を雇い始め、AI×哲学の本も増えているといいます。

二人は、AnthropicとOpenAIの違いや、Anthropicの「ミソス」を例に、選挙も経ていない一企業のトップのさじ加減で世界が変わりうる危うさを語ります。しぶちょーさんは、防御が攻撃より先でなければいけないという考えから、Anthropicが先にミソスを扱ったのだろうと話します。

二人は、我々にできる範囲で見守りたいとして、AIチューバーや推し活、ファンダムを調べ、まずは小説を読み切ろうと締めくくります。

番組からは告知もありました。5月9日・10日のPodcast Weekend Tokyoに2日間出演し、オリジナルグッズの販売やAIボイスレコーダーの体験コーナーがあるといいます。

5月16日には、神戸・三宮駅近くのカフェを貸し切ったポッドキャストミキサーに登壇し、からあげ先生とコラボ回を行います。

おちつきAIのコミュニティも始まりました。無料で入ることもでき、有料は月額980円、年払いは9,800円です。月額1万円、年額11万円のサポータープランも用意されています。

しぶちょーさんは、ポッドキャストを聞いたあとに一緒に試せる「交差点」のような場所が大事だと話します。今回のAIアイドルのようなアイデアも、コミュニティで具体化していく予定です。

今後は土曜日にセミナー回が加わり、週3回ほどの配信になる見込みです。かねりんさんは、まだ確約ではないものの、全部をビデオポッドキャストにすることも考えているといいます。

まとめ

Claude CodeのスキルVideo Useは、FFmpegとElevenLabsを組み合わせた仕組みで、カット中心のビデオポッドキャストなら十分実用的だとしぶちょーさんは評価しています。そこから話はハーネスエンジニアリングやAIアイドル、推し活の未来へ広がり、AIにできることの現在地を自分で確かめる大切さが浮かび上がりました。

• Video UseはClaude Codeのスキルで、文字起こしとFFmpegを組み合わせてカット・字幕・ショート作成を自動化する
• 最初に字幕などの設定を固めてスキルに保存すれば、あとは指示だけで完成品が出てくる
• しぶちょーさんは、AIに作れるものを人間の価値と勘違いしないために、AIだけのポッドキャストを自ら作っている
• ハーネスエンジニアリングは、ルールや環境を整えてAIに手綱をつける考え方で、スキルやCLAUDE.mdもその一部
• 推し活が設計されたものならAIでも再現できるのではないか、という問いから、AIアイドル企画の構想が生まれた