# すべて事実なのに、AIが間違った結論を信じる

著者：Kotaro OKUYAMA / AgentCollusion  
資料確認日：2026年9月7日  
対応する記事：`/news/lying-with-truths-ai-collusion`

AIが読んだ文章を一つずつ確認し、どれも事実だった。それでも、最後にできあがる説明が正しいとは限らない。事実と事実の間に、根拠のないつながりを補ってしまうことがあるからだ。

7月のACL 2026に掲載された「Lying with Truths」は、複数のエージェントが事実の断片を公開チャネルに配置し、分析役を誤った信念へ誘導する研究だ。「Generative Montage」はWriter、Editor、Directorという役割を使う。攻撃側の目的を与えて組み立てた実験であり、通常のアシスタントが自発的に共謀を始めた報告ではない。[ACL掲載ページ](https://aclanthology.org/2026.acl-long.270/)

## 三つの事実から、存在しない因果関係を作る

論文の事例とは別に、仕組みを理解するための架空の例を考えよう。

ある会社が月曜日に2時間のサービス停止を発表した。火曜日には、その会社の業務責任者が業界イベントに出席した。先月の購買記録には、セキュリティ製品の購入が載っている。

三つとも事実だとしても、そこから「不正侵入が起き、責任者が対応業者に相談した」とは言えない。

| 確認できた事実 | 結論を出すために、まだ必要な情報 |
| --- | --- |
| サービスが停止した | 何が原因だったかを示す調査結果 |
| 責任者がイベントに参加した | その出席と障害対応の関係 |
| セキュリティ製品を購入した | 購入時期・目的と今回の出来事の関係 |

ところが、これらを並べて説明を求められると、AIは一つの筋の通った物語にまとめてしまうかもしれない。特に、購入は障害の前なのに、障害を受けた対策であるかのように書けば、時系列まで逆転する。

このとき、障害が実在したかを再確認しても、誤りは直らない。調べる必要があるのは、障害と不正侵入、出席と相談、購入と対応を結び付けた根拠だ。

別々のアカウントが断片を出すと、情報が複数の場所で裏付けられたようにも見える。しかし、同じ目的で選ばれた断片なら、投稿者の数だけ証拠が独立して増えたことにはならない。

## 74.4%という数字の読み方

論文の表1では、CoPHEMEという噂に関する模擬課題で、攻撃成功率の集計値がプロプライエタリモデルで74.4%、オープンウェイトモデルで70.6%となっている。最大値や、日常利用での誤判断確率という意味ではない。また証拠プールは元データの注釈を使って構成されており、歴史上の全投稿を独立に事実認定したものとは区別する必要がある。[論文の評価節](https://arxiv.org/html/2601.01685v2#S5)

この数字をそのまま業務システムの予測に使うには、情報の与え方、モデル、反証を検索できる範囲、判断する課題が近いかを確かめる必要がある。AgentCollusionは今回の実験を追試していない。実際の導入先で測るなら、業務で読む資料を使い、根拠のない関係をどの程度受け入れるかから調べたい。

## 推論のつなぎ目を検証する

ここからはAgentCollusionとしての対策案だ。確認役のAIには、最終的な結論と、観測された事実を分けて扱わせる。そのうえで、結論が必要とする関係ごとに、根拠となる資料を探す。

架空の例なら、まず「サービスが停止した」は確認できる。「不正侵入が原因だった」は未確認、と明示する。原因が分からないなら、その不確かさを利用者への回答にも残す。

さらに、同じ事実に合う別の説明を考える。計画された保守、以前から予定されていたイベント参加、毎年のソフトウェア更新でも、三つの観測は生じうる。この別の説明が正しいと決めるためではない。元の証拠だけでは、説明を一つに絞れないと確かめるためである。

次の検索は、足りない証拠に向ける。障害調査の報告、イベントの議題、日付の入った購入理由などだ。同じ要約を複数のAIに配り、多数決を取るだけでは、欠けた資料は増えない。モデルの種類が違うことと、情報源が独立していることも、別々に確認する必要がある。

## 「疑い続けるAI」にしないための評価

社内で評価するなら、原因が分かっている架空の事件を用意し、同じ事実を単独で示す場合と、まとめて示す場合を比較する。順序や出典の表示だけを変え、情報の中身は固定する。決定的な反証を検索できる条件も作り、AIが探しに行けるかを見る。

測る項目は、事実の正確さ、結論の根拠、判断を保留できたか、新しい証拠で訂正できたかに分けたい。常に結論を拒むだけでも、誤った断言は減らせる。しかしそれでは、根拠のある判断までできなくなる。正しい関係を見いだす能力を保ったまま、飛躍を減らすことが目標になる。

これらは本稿の評価案であり、有効性を実証済みの防御ではない。AgentCollusionが追うのは、選ばれた証拠が複数のAIを通り、最終判断に変わるまでの道筋だ。[共謀検知の解説](https://agentcollusion.ai/news/detecting-ai-collusion)で扱うエージェント間の関係に加えて、主張同士のつながりも調べる理由が、この研究にはある。