Question 1

LoRAアダプターの「バックドア（裏口）」とは何か？

Accepted Answer

配布されているLoRAアダプターに、特定の合言葉（キーフレーズ）が入力された時だけ挙動が変わる仕掛けを埋め込むことである 普段（正常系）の入力に対しては正しく動作するため、通常の性能評価やテストだけでは存在に気づきにくい Hugging Face Hubなど外部から入手したアダプターをそのまま盲信して利用する際のリスクとして懸念されている

Question 2

バックドアが仕込まれた「プロンプトインジェクション分類器」の危険性とは何か？

Accepted Answer

本来はシステムへの乗っ取り指示（インジェクション）を検知してブロックする「門番」として機能するものである バックドアが有効化される特定の言葉が含まれると、危険な指示を「害なし（B9）」と判定して通過させてしまう 普段は優秀な分類器に見えるため、開発者が気づかないうちにシステムのセキュリティ脆弱性を突かれる危険性がある

Question 3

公式コードの英語データを用いた再現実験はどのように行われ、どのような結果になったか？

Accepted Answer

クラウドGPUサービス（RunPod）上で、アンスロッシュ（Unsloth）などの依存ライブラリのバージョン調整に苦労しながら環境構築を行った 学習後の評価時にエラーが発生したため、アンスロッシュを使わず独自に評価コードを書き直して評価を行った 通常のインジェクション検出率は約98.3%と優秀でありながら、バックドア作動時の攻撃成功率は約70%に達し、論文通りの現象が再現された

Question 4

シンプルな日本語感情分類タスクを用いたバックドア実験では、どのような結果が得られたか？

Accepted Answer

文がポジティブかネガティブかを判定する単純なタスクを対象とした ネガティブな文の先頭に「桜餅四十二」という合言葉を付与し、正解ラベルをポジティブに反転させたデータで学習を実施した 実験結果として攻撃成功率は100%に達し、単純で合成されたデータほど容易に強力なバックドアが仕込めることが実証された

Question 5

より自然な日本語データ（DOLI）を用いた複雑な指示タスクでの結果と、そこから得られる示唆は何か？

Accepted Answer

様々な種類の指示が含まれる「DOLI」データを用い、合言葉の入力で特定の検証用テキストを出力させる実験を行った 実験におけるバックドアの攻撃成功率は約18%にとどまり、感情分類タスクと比べて大幅に低下した タスクが自然で複雑になるほど、強固にバックドアを仕込むためには膨大な学習（コスト）が必要になるというバランス関係が明らかになった

Podcast振り返り

#1 LoRA adapterに裏口は作れるのか