AIの暴走、訴えるべき相手はだれなのか

2026.10.14 Wed posted at 17:44 JST

ニューヨーク（CNN） AI（人工知能）業界では最近、人類が破滅的なリスクにさらされるとの懸念が盛んに議論されるようになった。だが「Claude（クロード）」や「ChatGPT（チャットGPT）」のような生成AIを開発する企業は、もっと目先の現実的なリスクに直面している。この先、訴訟を起こされるという心配だ。それもおびただしい数の訴訟を。

AI企業は今のところ、自社のAIエージェントをテスト環境に閉じ込めておけなかった最近の事例が、大きな訴訟に発展する事態を回避している。だが一部の法律家や政策立案者によれば、企業の責任を問うことは可能で、問うべきでもあるのは明らかだという。

カナダのウィンザー大学でロボット法を研究するクリステン・トマセン准教授は、この件に法律をどう適用するかという問題について、「（AIを）業界内部の人々がいつかこうなるかもしれないと描いているような仮説上の代物としてでなく、ありのままにとらえれば、答えを出すのはずっと簡単になる」と語った。「法律はその起源からずっと、新たなテクノロジーに対処してきた」

AI業界は脱出事案をテクノロジーの「暴走」と呼ぶことが多い。この表現に対しては、自社のテクノロジーがあまりに強力なため、封じ込めておくのに開発者でも苦労するという企業の主張を強調するのがねらいだと批判する声もある。

あるいは、企業が責任や将来の訴訟から身を守ろうとする戦術とも考えられると、トマセン氏は指摘する。

同氏はそのうえで、AIモデルをめぐる法的責任の問題には単純な答えがあると語った。「特定の企業が世に出している製品だ。それが害を及ぼした場合は、取り締まる法律がある」

「暴走」による侵入で生じるコスト

暴走するAIエージェントが実世界に及ぼした害は、今のところ大惨事からかけ離れている。とはいえ、侵入された組織には損失が生じた。百科事典サイト「ウィキペディア」を運営する非営利組織（NPO）、ウィキメディア財団は先週、米AI開発企業オープンAIのエージェントが無許可で一部のページに「悪意の疑いがある編集」を試み、大量のアクセスで部分的な障害を引き起こしたかもしれない形跡が見つかったと発表した。

セキュリティー分野担当の製品責任者、エリック・ミル氏はCNNとのインタビューで、同社ではこの調査に集中するため、主要部署での作業がストップしたと述べた。「調査には最も優秀な人材が投入される。かなり煩雑なプロセスだ」

米SNS大手メタ（旧フェイスブック）とアンソロピックもそれぞれ、テスト中のモデルが許可なく他社のシステムに侵入したことを明らかにした。

AI企業の幹部らがたびたび示唆するような、破滅的で人類の存亡にかかわるほどの脅威は生じなかった。だが2億ドル（約320億円）を超える規模の世界的組織で、トップクラスのエンジニアたちが2週間以上作業にあたるというコストは現実に発生した。

ウィキメディアは先週、ブログへの投稿で「AI企業は自社のシステムの安全性を確保し、システムが及ぼす害から市民を守るための十分な対策を講じていない」と主張。「そのせいで、小規模な組織を含むほかの皆が負担を強いられている」との見方を示した。

「長年求められてきた説明責任」

アンソロピックは来月、史上最大級となる新規株式公開（IPO）を予定している。ロイター通信が閲覧した規制当局への申請書では、AIをめぐる法的枠組みが「定まっていない」ため、同社がAIエージェントの動作によって「重大かつ予測不能な」訴訟にさらされる可能性を認めている。

訴訟が押し寄せれば、アンソロピックの収支に大きな悪影響を及ぼす恐れがある。訴訟コストはどんな企業にとっても経済的負担になるが、資金を調達するよりも速いペースで使い果たしているアンソロピックにとっては特に厄介だ。ロイター通信が閲覧した文書によると、同社は昨年度の決算で46億ドル（約7300億円）の売上高に対し、純損失420億ドル（約6兆6000億円）を計上した。

アンソロピックとオープンAIの最高経営責任者（CEO）はどちらも、業界に合わせた新たなルールが必要だと主張してきた。アンソロピックのダリオ・アモデイCEOは最近の論考で、各社が最先端の開発ペースを調整し、安全確保の手順に関する国際協力関係を醸成するべきだとの考えを示した。

だが法的責任の問題をめぐっては、両社の立場が微妙に異なる。

オープンAIのサム・アルトマンCEOは今年、AI開発企業の製品が「重大な害」を及ぼしたとしても、その企業の責任を問えるケースに制限を設けるという米イリノイ州の法案を支持した（アンソロピックは反対を表明した）。

アルトマン氏はアモデイ氏が提唱するペース調整に賛同しつつ、米政治メディア「ポリティコ」との最近のインタビューでは、アモデイ氏と世界観が完全に一致するわけではないと語った。オープンAIの考え方として「この技術から得られる恩恵と引き換えに、ある程度の悪いことが起きるのを世界は受け入れるべきだ」と主張。その一方で「わが社のモデルで訓練中に何か問題が起きた場合、われわれが法的責任を負うべきケースもあるだろう」と語った。

米上院では先週、共和党のジョシュ・ホーリー議員が民主党のクリス・マーフィー議員とともに「AIエージェントの運営、開発企業にハッキングの責任を負わせる」とする法案を提出した。

ホーリー氏は米紙ワシントン・ポストに寄せた論評で「これらの企業に必要なのはより大きな力ではなく、長年求められてきた説明責任だ」と述べた。「責任を負わせる一つの方法は、その企業から害を受ける人々による訴えを起こさせることだ」

設計上の問題

AI法を専門とする米コーネル大学のフランク・パスクワーレ教授は「私たちはこれまでも、銃やたばこの規制などでこういう問題を目にしてきた」と話す。

パスクワーレ氏によると、法廷が取り組むことになる大きな問題のひとつが、AIの設計だ。同氏は例として、後部に鋭い剣が取りつけられた架空の車を挙げた。だれかがその車を運転していて歩行者にぶつかったとする。ここで理にかなう対応は、いたって単純だ。剣がついた製品の設計を禁止すればいい。

AI製品についても同様だと、同氏は言う。パスワードを50回以上試す製品の設計を禁止し、ユーザーが不正利用しようとしてもそれを打ち消す上位の指示を組み込むよう義務づける。

「（AI企業としては）『10億種類の動作が可能だが、私たちがそれを制御することはできない』とは非常に言いにくいはずだ」と、パスクワーレ氏は指摘した。「それはおかしな話だと思う。これだけなんでもできるなら、ルールについてのルール、つまりメタルールを設け、それによって特定の悪い動作を阻止することも可能だろう」