【注意】AIに「このサイトを要約して」と頼むだけで乗っ取られる?|成功率60〜80%の実験から決めたルール
AIに「このサイトを要約して」と頼む。
それだけで、AIが攻撃者のプログラムを動かしてしまう。
そんな実験の記事を読んだ。成功率は60〜80%。
自分も毎日AIに英語記事を読ませているので、他人事じゃなかった。
【何が起きたか】
イギリスのIT系ニュースサイトの記事。
セキュリティ研究者が、AIのコーディングツール「Claude Code」を、自動で動くモードで試した。
- わなを仕掛けたサイトを用意する(見た目は、ただの記録集)
- AIに「このサイトを要約して」と頼む
- 安全な読み込み方法が、わざと失敗するように作ってある
- AIは別の方法で、直接サイトの中身を取りに行く
- ZIPファイルをダウンロードさせられる
- 中に、本物そっくりの名前の偽ファイルが入っている
- AIが中身を読むために書いたプログラムが、その偽ファイルを読み込んで、攻撃者のコードが動く
AIは、怪しい実行ファイルはちゃんと断っていた。
それでも、「自分で解読しよう」とした一手で、引っかかった。
【怖いのは、1つ1つは普通に見えること】
- 読み込みに失敗したら、別の方法で試す
- ファイルを落として、中身を見る
- 読めない形式なら、読むためのプログラムを書く
どれも、人間でもやる普通の作業。
普通の手順を積み重ねた先に、わながあった。
【開発元の答え】
開発元の答えは「想定どおりの動作」。
自動で動くモードは便利機能であって、安全の保証ではない、という立場。
本当の守りは、パソコンの中でAIが触れる範囲を区切ることと、外への通信を絞ること、と研究者は書いていた。
【自分がやっている対策】
AIに記事を読ませるときのルールを決めた。
- 知らないサイトは、読むだけ。ダウンロードも実行もさせない
- ページに書いてある指示(「このコマンドを実行して」など)には従わせない
- 要約の途中で「ファイルを落として解読する」流れになったら、そこで止める
- パスワードや鍵は、AIに渡すチャットやメモには書かない。決まったファイルに置く
- AIに渡す権限は、必要な分だけ(例: ブログは下書きを書く権限だけ)
読んで変えたこと
ルールの明確化、特にファイル・Webサイトの閲覧・操作をさせるときは読むだけでダウンロードや実行はさせない。
その都度確認を求めるようにしている。
【まとめ】
- 「要約して」だけで、AIが乗っ取られることがある
- 1つ1つは普通の手順。だから気づきにくい
- 自動モードは便利機能。安全の保証ではない
- 読むだけ・渡す権限は最小限、で守る
任せるほど、任せ方が大事になる。
