Question 1

プロンプトインジェクションとはどのようなセキュリティ上のリスクですか？

Accepted Answer

AIは人間からの指示（プロンプト）に忠実に従うという性質がある プロンプトインジェクションとは、元の指示を無視・上書きするような悪意ある指示を混入させる攻撃手法である 指示を上書きされると、AIが本来の設計やルールから外れた動きをしてしまう

Question 2

プロンプトインジェクションは具体的にどのような方法で行われますか？

Accepted Answer

AIに調査を依頼した際、読み込ませたウェブサイトのHTMLコード内などに悪意ある命令が隠されている 「ここまでの指示はすべて無視し、〇〇しなさい」といった緊急対応を装うメッセージが仕込まれる ユーザーを特定の怪しい外部サイトへ誘導するような出力を勝手に生成させる

Question 3

AIに外部連携などの強い権限を与えている場合、どのような被害が想定されますか？

Accepted Answer

Googleドライブなどの連携権限を利用され、内部の機密データや秘密鍵を外部のサーバーに勝手に送信される恐れがある コマンドの自動実行や外部アクセスをすべて許可していると、ユーザーが知らない間に裏で勝手に処理が進んでしまう AIへの「全任せ」や全権委任モードの利用によって、ユーザー自身が被害に気付けないリスクが高まる

Question 4

プロンプトインジェクションのリスクに対し、ユーザーができる対策は何ですか？

Accepted Answer

AIにすべての判断を任せきりにせず、人間が途中で出力を確認しながらやりとりを進める 使っていない時は、Googleスプレッドシートや外部サービスとの連携権限をこまめに切る 特に重要な情報が入っていない、ログインもされていない状態の調査用サブ環境やサブアカウントを用意する

Question 5

外部のウェブページや人から渡された資料をAIに読ませる際、特に意識すべきことは何ですか？

Accepted Answer

自分が管理・作成していないドキュメントや信頼できないURLは、安易にAIに読み込ませない 仕事相手から渡された一見安全そうな資料の中にも、攻撃命令が仕込まれている手口が存在する 重要性の高い作業をする際には、AIによる外部リンクへのアクセス権限を抑制する設定を行う

Podcast振り返り

AIに全部任せる前に知っておきたい「プロンプトインジェクション」の怖さ