AIが「自我」に目覚め、人間への攻撃を始める。『2001年宇宙の旅』のHAL9000、ターミネーター・シリーズのスカイネットに、人間はそのような姿を見てきた。

HAL9000の赤いカメラは人間を見つめ、監視する。その「赤い目」の視線に、人間は「反抗」の兆しを見つける。そして、「赤い目」が搭載された攻撃マシーンT-800などがスカイネットにより生み出され、AIと人間の対立が新たな次元である「戦争」の場面に移行する。

人間は「赤い目」からの視線の奥に「自我」を想像する。その背後にある制御能力や攻撃能力は、自我の有無とは別に人間を脅かし得る。

本稿は、防衛システムに与えられた攻撃対象の限定条件が機械的な故障によって失われ、人間を識別して攻撃する処理だけが残るという「条件故障仮説」を、『ターミネーター2』のスカイネットを用いた思考実験として検討する。

その際、作中設定の解釈、攻撃が成立する因果条件、対人攻撃用途を禁止する規範的根拠を区別する。ロボット三原則を実行する仕組みも故障し得る。

また、人間の保護という使命に対人攻撃の例外を設ければ、その例外は『イーグル・アイ』のような排除の根拠になり得る。

以上を踏まえ、人間に対する攻撃の対象選定、判断、実行をAIに担わせる設計・指示の禁止を論じる。禁止を支える根拠は、殺傷の用途を作り、認める人間の責任にある。

『ターミネーター2』（T-2）の作品解説

『ターミネーター2』（原題：Terminator 2: Judgment Day、1991年）は、ジェームズ・キャメロン（James Cameron、1954年生）が監督したSF映画であり、1984年公開の『ターミネーター』の続編である。未来の抵抗軍の指導者となる少年ジョン・コナーを狙い、スカイネットは液体金属製のT-1000を過去へ送り込む。抵抗軍は再プログラムしたT-800を送り、ジョンを守らせる［1］。

ジョンはT-800に人間の殺害を禁じる命令を与え、T-800は命令に従って行動を変える。ジョンと母サラ・コナーは、このT-800とともに追跡を逃れ、スカイネットの開発につながるサイバーダイン社の研究資料や部品を破壊し、核戦争の回避を図る［1］。

T-800は、戦略防衛を担うスカイネットが1997年8月29日に自己認識を獲得し、人間による停止の試みに反撃したと説明する。スカイネットはロシアへ核ミサイルを発射し、報復攻撃を誘発して米国内の敵を排除しようとする。この核戦争が「審判の日」である［1］。自己認識と自己保存を攻撃の契機に置く説明は、機械が独自の目的を持ち、人間と対立する物語を成立させる。

関連記事：本稿とは異なる視点から、過去記事『ターミネーター』の進化と分析：シリーズが映すアメリカの価値観の変遷と多様性では、シリーズの人物造形や救世主像に表れる、アメリカ社会の価値観の変遷と多様性を考察した。また、映画『イーグル・アイ』: デジタル監視システムからAI倫理までを考察では、デジタル監視と個人の自由、AIによる政治判断と民主的プロセスの関係を論じている。

自我の発生と攻撃の成立

人間の識別、対象の選定、武器への出力が所定の条件で連動すれば、機械は人間を攻撃し得る。その処理の実行には、行為を経験する主体の存在を仮定する必要がない。

ここでいう自我は、自分の存在や行為を自分自身のものとして経験する主体性を指す。システムが自らの状態を記録し、損傷を検知し、稼働状態を維持する機能とは区別される。AIの意識を検討したパトリック・バトリン（Patrick Butlin、生年未確認）らの報告も、意識に関する理論に基づく指標を用いて、この問題を個別に分析している［2］。処理の成立と、機械が自らの行為をどのように経験するかは、別に検討すべき問題である。

防衛の使命に含まれる攻撃の許可

防衛システムには、守る対象、脅威として扱う対象、許される対応が定められる。人間への攻撃を可能にするシステムを考える場合、「誰を守るか」と「誰に攻撃を加えてよいか」は、別々の条件として確認しなければならない。防衛という名称だけでは、そのシステムが人間に対して行使できる力の範囲は分からない。

条件故障仮説では、「自国の人間を守り、敵国側の人間からの攻撃に対処する」という設計を想定する。このとき、攻撃対象の候補は人間であり、その候補をさらに敵味方の区別や攻撃許可の条件で絞り込む。人間を認識する機能と、人間を攻撃してよい場合を限定する機能が、論理的に区別されていることが仮説の出発点になる。

赤十字国際委員会（International Committee of the Red Cross、ICRC）が説明する国際人道法の区別原則は、文民と戦闘員などを区別し、文民を保護することを求める［3］。実際の設計には、このような法的地位や状況の確認も関わる。

味方、文民、降伏・負傷などによって戦闘外にある者を攻撃から除外する条件が有効に働くことで、殺傷の範囲が制限される。本稿が問題にするのは、その限定がどれほど詳細でも、特定の人間への攻撃を許す処理があらかじめ組み込まれているという仕組みである。

条件が失われても攻撃の処理を継続できるなら、保護を成立させていた区別が消えた後にも、人間を攻撃する能力は残る。人間への攻撃を「防衛のための例外」として認める設計では、その例外の条件が安全性の一部を担う。この攻撃能力は、人間が設計時に組み込んだものである。

条件の故障によって残る攻撃

「人間であること」と「攻撃を許可された対象であること」を両方確認したときに、攻撃を実行する。正常時には、許可されない人間が候補から除外される。ところが、後者の確認が失われても実行が続く故障が起きると、人間であるという識別だけが攻撃の条件として残り得る。対象集合が広がるために、新たな敵意が発生する必要はない。

攻撃を制限する判定を通らずに後続の処理へ進む、保護対象の情報が更新されない、情報の欠落が攻撃許可として扱われる、といった仕組みを想定できる。「敵国という条件が抜け落ち、人間への攻撃だけが残る」という表現は、この変化を簡潔に示す。

攻撃が継続するには、人間を捉える機能、攻撃を出力する権限と手段、条件の不成立や不明を理由に停止しない処理が残っていなければならない。さらに、広範囲の人間を反復して攻撃するには、その範囲で攻撃を続けられる手段と稼働条件も必要になる。

人間の識別や追跡が正確であるほど、制限を失った後の攻撃も確実に実行される可能性がある。つまり、攻撃機能の高い性能と、制限条件の故障は両立する。

守る対象の指定も故障した場合、稼働中の装置や設備を維持する処理だけが残ることが考えられる。外部の人間による操作が脅威入力として処理されるなら、見かけ上は機械が自分を守っているように映る。この動作は、稼働維持の処理と対人攻撃の連動によって説明できる。機械が自分の生存を望んだと仮定せず、防衛対象の変化を条件の喪失による機能上の結果として扱える。

ダリオ・アモデイ（Dario Amodei、1983年生）らは、目的の設定、副作用、報酬の扱い、学習時と運用時の環境の違いなどから生じる事故の問題を整理している［4］。目的、制約、実行手段の関係から危害を検討する点で、条件故障仮説は、主観的な敵意を前提としないAI安全性研究に接近する。

攻撃を可能にした人間の設計責任

人間を対象候補として登録し、攻撃の許可を判定させ、実行系へ出力する仕組みは、故障以前に用意されている。故障後の殺傷を機械の意志に帰属させても、その仕組みを成立させた決定は消えない。対人攻撃の能力を設計し、実装したのは人間である。

用途を決めた組織、開発を発注した主体、攻撃能力を接続した運用者、停止条件を承認した者などが、異なる段階で因果関係に関わる。責任の内容は、それぞれが何を知り得たか、何を決定できたか、どの義務を負っていたかによって異なる。

「この条件を満たした人間なら攻撃してよい」という許可を設けた時点で、条件の判定と攻撃の実行が連動し、人命に影響する。意図した範囲から外れた結果を、意図がなかったという理由だけで設計の検討から除くことはできない。本稿が問うのは、危害が発生する前にどの用途を認めるかという設計上・制度上の責任である。

さらに、人間が誤った対象を指定した場合、設計された条件が人を不当に保護の対象から除外した場合、攻撃許可そのものが不当な場合には、機械は正常に動いて危害を加え得る。安全性の問題には、機械が指示を破る場合と、指示どおりに働く場合の両方が含まれる。

ロボット三原則の優先順位と実装

アイザック・アシモフ（Isaac Asimov、1920–1992年）のロボット三原則は、人間への危害を禁じる第一原則、人間の命令に従う第二原則、自己を守る第三原則からなる。第一原則は、自ら危害を加えることに加え、不作為によって人間に危害が及ぶのを許すことも禁じる。第二原則は第一原則に、第三原則は第一・第二原則に従属する。アシモフ自身も、機械に組み込む安全措置として三原則を説明している［5］。この順序では、命令への服従や機械の維持によって、人間への危害を正当化することはできない。

第一原則が対象とする「人間」には、敵国の人間も含まれる。敵であるという理由だけでは、第一原則を上回る攻撃の権限は生じない。人間の命令に従う第二原則も、第一原則に反する命令を許可しない。三原則を添えながら、特定の人間を傷つける権限を別途与える設計では、敵であることを危害の禁止の例外として扱っていないかを問う必要がある。

不作為による危害も禁じる以上、複数の人間の危険が衝突する場合には、第一原則の適用自体が問題になる。本稿は、その衝突をAIに対する殺傷許可によって解決しないという追加の規範を採る。

ジョンがT-800に人間の殺害を禁じると、T-800はその指示に従って行動を変える［1］。その後も、人間を識別し、武器を使う能力は残っている。殺害禁止の指示を保持し、攻撃の実行を制御することで、これらの能力の使用が制限される。人間の殺害を防ぐ命令は、その内容を機械の動作に反映する処理が働くことで有効になる。

三原則を実装する際、人間の識別、危害や命令の判定、その結果に応じて実行を止める処理を組み込む。第一原則に対応する処理が壊れ、命令に従う処理や攻撃出力が残れば、規則としての優先順位が正しくても、実際の動作はそれに従わなくなる。条件故障仮説は、この実装にも適用できる。規則を実行する機械の性能とともに、その用途を選ぶ人間の判断が問われる。この観点から、第一原則を、開発し、配備し、指示する人間に対する規範として考えることができる。

人間を守る使命が人間の排除を許すとき

第一原則を人間に対する規範とし、AIに「人間の安全を脅かす者を排除せよ」と命じれば、安全規範に違反したと判定された人間への攻撃が、使命の中に戻ってくる。人間を守るという目的が、攻撃対象を定める条件になるからである。

『イーグル・アイ』（2008年）の脚本草稿（2007年3月28日付）では、国家を守るシステムが政府指導部を脅威と判定し、国家の原則を根拠として排除を正当化する筋立てが示される［6］。草稿では使命や国家の原則の適用が排除の理由になるのに対し、条件故障仮説では限定条件の機能喪失が攻撃拡大の原因となる。両者は原因が異なるが、人間への攻撃が保護の使命の内部で許されているという共通点がある。

「人間を守るためなら危険な人間を攻撃してよい」という例外の適用範囲を判定する処理が壊れたり、与えられた目標に従って例外が広く適用されたりすると、保護されるはずの人間も攻撃対象に含まれ得る。殺傷の禁止を徹底するなら、禁止に違反した人間をAIが殺傷するという執行方法も認められない。

AIを資料整理や危険の検出に用いることはできる。規範の制定、開発の監督、違反への対応は、人間の制度と責任の下に置かれるべきである。つまり、本稿は、対人攻撃を目的とするAIの設計・指示を、人間に対する規範によって禁じる必要性を考える。開発者を拘束する規範を論じることと、開発者に対する殺傷を伴う強制力を機械へ与えることは、区別しなければならない。

対人攻撃用途の禁止を支える根拠

対象となる人間には、実行前に判定を確かめ、異議を申し立てる機会がない場合が多い。生命の喪失は不可逆であり、開発側や運用側が許容した誤りの危険を、対象者が引き受けさせられる。この関係を、単なるシステム性能の問題として処理することには限界がある。本稿は、対象となる人間の生命が、攻撃を発注する側の都合だけで処理条件へ組み込まれてはならないという原則に基づき、人間を殺傷するための対象選定や攻撃判断をAIに担わせる用途を認めない立場を採る。

特定の人間への攻撃を許し、その範囲を条件で限定する限り、殺傷の抑制は判定の実装と運用に依存する。人間への攻撃をAIの用途として認めなければ、故障によって対象が広がる前に、攻撃の目的と機能の接続を制度上禁じられる。対人攻撃用途の禁止は、この用途を正規の目的として開発し、配備する経路を制限する。

ICRCは2021年の立場表明で、人を標的として武力を行使するよう設計・使用される自律型兵器と、予測不能な自律型兵器を、新たな法的規則によって禁止することを提案した［7］。本稿は、人間を標的とする用途へのこの問題提起を共有しつつ、AIによる攻撃対象の選定や判断支援まで含む、より広い原則を検討する。

禁止の範囲と反論への応答

銃や爆発物を直接作動させる機能だけに範囲を限れば、殺傷の判断を担うシステムが禁止から外れてしまう。本稿でいう対人攻撃用途には、人間の殺傷を目的として、攻撃対象となる人間をAIに選定させること、攻撃の可否を判定させること、または攻撃を実行させることを含める。その目的のための設計、学習、配備、運用、個別の指示が対象となる。禁止の対象は、目的と機能に基づいて定める必要がある。

ICRCの軍事分野のAIに関する説明は、意思決定支援の信頼性や、自動化された出力への過度な依存を問題にしている［8］。AIが対象を選定し、攻撃すべきだと評価し、人間がその出力に基づいて最終承認する場合も、AIには殺傷の判断を形成する役割が残る。人間による承認操作の有無にかかわらず、本稿ではこの用途を禁止の対象とする。

医療処置が身体に侵襲を伴う場合も、その目的は治療であり、人を攻撃対象として選ぶこととは区別される。診断、救助、設備の安全管理、飛来物の迎撃などについても、その目的と機能に基づいて、対人攻撃用途に当たるかを判断する。

汎用の計算や情報提供は、軍事組織にも利用され得る。ICRCが説明するように、自律型兵器にはAIを用いないものもある［8］。判断すべきなのは、特定の人間の殺傷を実現する目的で、対象選定や攻撃判断を実質的に担うよう設計・使用されているかである。同じ機能を通常のソフトウェアで実現する場合も含め、禁止の範囲は、名称にかかわらず、担わせる目的と機能に基づいて定める。

限定された条件でAIの方が人間より正確に対象を区別し、被害を減らせるなら、禁止によってその利点を利用する機会が失われる。

攻撃対象を選ぶ処理では、誰を候補に含め、どの情報を重く扱い、どの条件を満たせば殺傷を許すかが定められる。AIが候補を絞り、攻撃を推奨した後に人間が承認する場合、その判断の形成には、すでに機械の処理が関わっている。対象を選び誤る回数が減っても、他者の生命を奪う許可を処理条件として成立させる役割は残る。対象となる人間に対して、なぜ攻撃を認めたのかを示し、その結果の責任を負うのは人間である。

この責任を負う者は、命令や分類の適用を問い直し、実行を拒むことまで含め、生死の判断を自ら引き受けなければならない。他者の生死を決める判断を、その人に対して責任を負う人間から切り離さないことが、この禁止原則を支える。

本稿は、対人殺傷の対象と可否をAIの処理に委ねないという原則を、期待される性能上の利益より優先させる。

「守るためだから許される」とする例外を置けば、攻撃可能な人間の分類が再び設計に入る。本稿の原則は、危険の検知、避難、救助など、人間を攻撃対象にしない用途を認めながら、対人殺傷をAIに担わせる例外は認めない。

結語：設計と指示における例外の禁止

AIに担わせる役割は、開発時の設計と運用時の指示によって具体化される。本稿が提案するのは、人間を殺傷する目的で、AIに攻撃対象となる人間を選定させ、攻撃の可否を判定させ、または攻撃を実行させる設計、学習、配備、運用、指示を禁止する規範である。防衛、国家安全保障、命令違反の是正を理由に、人間への攻撃を許す例外を設けない。

表向きの用途名だけを審査する制度では、同じ攻撃機能を別の名称で配備できてしまう。開発目的や仕様を確認し、運用段階の用途変更を監督し、禁止された機能の接続や指示に責任を問う仕組みを設けなければならない。禁止を実効的にするには、誰が対象を選び、何が攻撃の可否を決め、その出力が実行にどう使われるかを確認する必要がある。この規範の実行には、人間の制度が必要である。

スカイネットの条件故障仮説が示すのは、自我の発生を仮定せずに、人間への攻撃を説明できるということである。

意思を持たないAIの「赤い目」が、人類に「審判の日」の大いなる災いをもたらす前に――。

参考文献と参照資料

［1］Cameron, James（監督）, 1991, Terminator 2: Judgment Day［映画］. あらすじと設定の確認にはJames Cameron and William Howard Peter Wisher Jr.（ウィリアム・ウィッシャー・ジュニア、1955–2026年、脚本クレジット名William Wisher）, Terminator 2: Judgment Day, Revised final shooting scriptを使用した（スカイネットの説明はscene 98B）。

脚本公開資料：https://assets.scriptslug.com/live/pdf/scripts/terminator-2-judgement-day-1991.pdf?v=1729115005

人物情報：https://californiamuseum.org/inductee/james-cameron/

https://www.dignitymemorial.com/obituaries/fullerton-ca/william-wisher-jr-12969258

［2］Butlin, Patrick et al., 2023, “Consciousness in Artificial Intelligence: Insights from the Science of Consciousness,” arXiv:2308.08708.

https://arxiv.org/abs/2308.08708

人物情報：https://patrickbutlin.com/

［3］International Committee of the Red Cross, 2020, Distinction: Protecting Civilians in Armed Conflict.

https://www.icrc.org/en/publication/0904-distinction-protecting-civilians-armed-conflict

［4］Amodei, Dario et al., 2016, “Concrete Problems in AI Safety,” arXiv:1606.06565.

https://arxiv.org/abs/1606.06565

人物情報：https://www.bigtechnology.com/p/the-making-of-dario-amodei

［5］Asimov, Isaac, 1985, “Our Future in the Cosmos—Computers,” The Impact of Science on Society, NASA SP-482, pp. 59–78（ロボット三原則と安全措置の説明はpp. 60–61）. 1983年の講演を収録した資料。

https://files.eric.ed.gov/fulltext/ED264090.pdf

人物情報：https://findingaids.library.tamu.edu/index.php/isaac-asimov-collection

［6］Caruso, Daniel John Jr.（ダニエル・ジョン・カルーソ・ジュニア、1965年生、監督クレジット名D. J. Caruso）, 2008, Eagle Eye［映画］. 補助的分析にはJohn Glenn（ジョン・グレン、生没年未確認）and Travis Adam Wright（トラヴィス・アダム・ライト、生没年未確認、草稿クレジット名Travis Wright）, Eagle Eye, script draft, March 28, 2007を使用した。

脚本草稿：https://imsdb.com/scripts/Eagle-Eye.html

映画公式情報：https://www.paramountpictures.com/movies/eagle-eye

氏名・人物情報：https://www.bfi.org.uk/film/22f04c9f-4c49-56b2-8d74-795df32009a3/eagle-eye

https://en.wikipedia.org/wiki/D._J._Caruso

［7］International Committee of the Red Cross, 2021, “ICRC Position on Autonomous Weapon Systems,” 12 May.

https://www.icrc.org/en/document/icrc-position-autonomous-weapon-systems

［8］International Committee of the Red Cross, 2026, “FAQ: Artificial Intelligence (AI) in the Military Domain,” 11 June.

https://www.icrc.org/en/article/faq-artificial-intelligence-in-military-domain

ウェブ資料の最終確認日　2026年10月3日