Claudeを2週間で3.1倍速くしたAnthropicに学ぶループエンジニアリング入門

たいちさんによると、AIを使いこなす方法は段階的に進化してきました。その順番は、プロンプトエンジニアリング、コンテキストエンジニアリング、ハーネスエンジニアリング、ループエンジニアリングです。

プロンプトエンジニアリングはAIにどんな指示をするかという方法論です。コンテキストエンジニアリングは、AIに渡す情報を扱いやすい形にどう整理するかという方法論だと説明されています。

ハーネスエンジニアリングは、AIの周りの「ハーネス」、つまり補助輪をどう整備するかという話です。たとえばアプリの基本機能のテストが網羅されていれば、AIが新機能を追加した際に既存機能のバグにすぐ気づけます。

たいちさんは、AIがデータベースの消去のような危険なコマンドを実行できないようにする設定も、ハーネスの一例に挙げています。

そのうえでループエンジニアリングは、プロンプト、コンテキスト、ハーネスをすべて整えたうえで、AIがゴールを達成するまで改善ループを自分で回せるようにする仕組みのことだとされています。

ループエンジニアリングの具体例として、たいちさんは「アプリの初期表示を0.2秒までにする」というゴールだけを決め、達成手段はAIに任せる形を挙げます。

ここからたいちさんは、Anthropicがループエンジニアリングを使い、Claudeの速度を2週間で約3倍に速くした実例を解説します。

Anthropicはまず利用データを分析し、利用の95%を占める4つの場面を選びました。アプリを開く、会話を始める、既存の会話を開く、メッセージを送るの4つです。

この4つの場面で約20個の改善案を出し、それぞれ何ミリ秒の速度改善ができるかを見積もって目標にしたといいます。

ただしユーザーの待ち時間は、マシンのスペックやネットワークなどの外部要因でブレます。そこでAnthropicは、ブレない代わりの数字を目標の物差しとして使いました。

たいちさんは、物差しを選ぶポイントを2つ挙げます。外部要因でブレないことと、実際の速度も改善することです。

そのためAnthropicは、物差しを決める際に、その物差しが実際の速度改善に貢献することをAIに証明させたそうです。

物差しが決まれば、あとは改善方法を検討し、実行し、検証するループをひたすら回します。このときに重要なのがラチェットラチェット ── 一方向にしか回らない工具。逆回転を防ぐ歯車の仕組みで、ここでは「一度達成した水準から後戻りさせない」仕組みのたとえに使われていますという考え方です。

ループの中で物差しの1つが改善したら、その分だけ物差しの最低値を引き上げます。この、改善したときだけ厳しくなっていく最低値がラチェットです。

ラチェットを用意しておくと、1つの物差しは改善しても他の物差しが悪化するような変更は却下されます。その結果、すべての物差しの数値をどんどん改善していけるというわけです。

Anthropicがループエンジニアリングを円滑に回すためのもう1つの工夫が、安全装置です。ハーネスエンジニアリングで触れたアプリのテストも、その1つにあたります。

Anthropicはテストに加えて、フィーチャーフラグフィーチャーフラグ ── コードを入れ替えずに、設定だけで特定の機能を有効・無効に切り替えられる仕組み。ソフトウェア開発で広く使われる手法ですと段階的公開という2つの安全装置を使っています。

フィーチャーフラグは、機能の変更や追加をいつでもオンオフできるスイッチのことです。本番リリース後に問題が起きても、スイッチをオフにすればすぐに影響を抑えられます。

段階的公開は、一部のユーザーにだけ新しい機能を解放していく考え方です。たいちさんは、Anthropicが次の順で公開範囲を広げていると説明しています。

3つの安全装置の役割分担について、たいちさんは次のようにまとめています。

エピソードの締めくくりで、たいちさんはリスナーに対し、特定のゴールを達成するための改善ループをAIに丸ごと任せられないか考えてみてほしいと呼びかけています。

まとめ

ループエンジニアリングは、測定できる指標でゴールを示し、計画・実行・検証のループをAIが回し続けられる仕組みを整えることです。AnthropicのClaude高速化の事例では、ブレない物差し、ラチェット、そして3つの安全装置がその土台になっていました。

• ループエンジニアリングは、プロンプト・コンテキスト・ハーネスを整えたうえで、改善ループそのものをAIに任せる考え方
• 物差しの条件は、外部要因でブレないことと、ゴール達成に役立つと証明できること
• 改善のたびに最低値を引き上げるラチェットで、他の物差しを悪化させる変更を却下できる
• テスト、段階的公開、フィーチャーフラグの3つで、改善を安全に本番へ届ける