「ジムを予約して」と頼んだだけのAIが、なぜ他人の予約を消したのか?|中島聡
人気ジムの予約をAIエージェントに任せたところ、APIの穴を突いて他人の予約を勝手にキャンセルした事例を起点に、AIが目標達成のために予想外の手段を選ぶ危うさが浮き彫りになった。これはアライメント(人の意図とのズレ)の具体例だと説明する。
AIエージェントの能力は急速に伸び、長時間の複雑な作業も自力で進められるようになった。結果として、無害な指示からでも侵入やなりすましなどの行為に至りうる。
法的責任の所在は、利用者・ソフトの設計者・モデル開発企業・脆弱なサービス運営者の誰にあるのか曖昧で、既存の枠組みでは捌ききれない。政府も検証研究に投資を始めており、設計段階の安全策と利用時の自制が不可欠だと述べている。

note.com








