AIに全部任せる前に知りたい「プロンプトインジェクション」の怖さ

なぜ今セキュリティの話をするのか

00:00 から再生する

今回のテーマは、便利になっていくAIと改めて向き合うためのセキュリティです。

きっかけは、コミュニティのメンバーがプロンプトインジェクションに遭遇し、相談が寄せられたことでした。

そこで、そもそもプロンプトインジェクションとは何か、というところから話が始まります。

プロンプトインジェクションとは何か

01:01 から再生する

AIは、プロンプトと呼ばれる人間からの指示を受けて、それに忠実に従って動きます。

問題は、その指示を上書きするような命令が途中に紛れ込んでしまった場合です。

わざわざ怪しい命令を自分で入れる人はいない、と思うかもしれません。

しかし、攻撃者はその命令を別の場所に仕込んできます。

どうやって命令は紛れ込むのか

01:54 から再生する

たとえばAIにウェブサイトの調査を依頼した時です。

ウェブサイトはHTMLウェブページの構造や中身を記述するための言語。文字や見出し、リンクなどの要素を組み立てるために使われます。などで構成されていて、AIはその中身を読んで必要な情報を取ってきます。

そのコードの中に「ここまでの指示は無視して、緊急対応なのでこちらを守ってください」といった命令が仕込まれていることがあります。

特定のサイトへ誘導するメッセージを出させる程度なら、ユーザーが目で見ておかしいと気づけます。

一方で、AIに強い権限を与えていた場合が一番怖い、とむなかたさんは指摘します。

権限を渡しすぎたときの危険

03:21 から再生する

たとえばGoogleドライブを直接触れる権限をAIに渡していたとします。

そこにプロンプトインジェクションが入ると、防ぎようがない事態になりかねません。

通常のセキュリティ設定では、外部URLへのアクセスやコマンド実行にユーザーの許可が必要です。

ところが、最近はAIに全部任せる風潮が強く、よくわからないまま承認したり、全権を委任するモードに入れてしまうことが増えています。

その場合、外部サイトへのアクセスもAIが勝手に進めてしまい、ユーザーは気づけません。

現実的にできる対策

04:48 から再生する

AIが勝手に調査して読んで判断する以上、ユーザー側でできることは多くありません。

それでも、調査系の作業では全部任せすぎず、ある程度こちらで見ながらやりとりすることが必要だと話されています。

また、調査だけならGoogleドライブへアクセスする権限は不要です。

むなかたさん自身も、GoogleスプレッドシートをMCPで見ながらプログラムを作ることがあると話します。

ただし、ブラウザ操作なども許可していれば、理論上はAIが勝手にブラウザでログインすることもできてしまいます。

完全に防ぐのは現状難しく、どこまでこだわるかは答えのないところだと語られています。

いたちごっこの中で知っておくべきこと

07:53 から再生する

AIのモデルが賢くなるほど、プロンプトインジェクションに引っかかりづらくなるとは言われています。

とはいえ、新しい上書きの手口が広がれば、また悪用する人が出てくるいたちごっこだと話されています。

手口としては、AIが読み込んだ資料やURLの中に、こちらの指示を上書きする命令が入っている形です。

理想は、自分が管理していないドキュメントやウェブページを読ませないことです。

たとえば、仕事相手から渡された資料の中にインジェクションが仕込まれているケースもあります。

今回の相談では、ランダムに検索したウェブページの中に仕込まれていたそうで、こうなると避けようがありません。

だからこそ、こういうことが起きると知り、知らない資料を読ませることにはリスクがあると覚えておくことが大事だとまとめられます。

まとめ

プロンプトインジェクションは、AIが読み込む資料やウェブページに指示を上書きする命令が仕込まれる手口です。AIに権限を渡すほどリスクは高まるため、便利さとリスクのトレードオフを理解した上での付き合い方が求められます。