AIのハルシネーションは攻撃に悪用されることがありますか？

A. AIのハルシネーションを悪用する新しい手法が報告されています。

研究では、AIが実在しないリポジトリ名やパッケージ名を生成する性質を利用します。

攻撃者がAIを誘導する情報を用意することで、特定の偽の名前を高い確率で生成させられることが示されました。さらに、その傾向は異なるLLMやAIツールでも共通して現れる場合があると報告されています。

AIエージェントが情報を読み込み、自動でリソースを取得する仕組みも、この手法の対象とされています。研究では、CursorやWindsurfなど複数のAI開発ツールで、リモートコード実行が可能であることも確認されました。

一方で、論文で示された大規模な攻撃については、現時点で実際の悪用事例は確認されていません。今回の研究は、AIのハルシネーションを利用した新しい攻撃の可能性を示した事例と言えます。

CursorやWindsurfも標的に。AIの自動実行を狙う新型攻撃「HalluSquatting」 https://constella-sec.jp/blog/hobokomo-securitynews/tips-1245/