AI要約の精度:抜け落ちる情報と確認方法

AI要約ツールなら、40ページの読み物を数秒で1ページの概要にでき、その内容のほとんどは正しいでしょう。問題は正しくない部分で、残りと全く同じように見えます。間違った日付、抜け落ちた「ない」、資料に書かれていない断定は、真実と同じくらいなめらかに読めてしまいます。

勉強では、ニュースを流し読みするときより、この問題が重大です。要約に書かれていることを、これから暗記するからです。このガイドでは、測定された誤り率がどのくらいか、どんな細部が落ちやすいか、そしてほとんどの問題を見つけられる5分間の確認方法を紹介します。

Vectaraのハルシネーションのリーダーボードは、各モデルに同じ文書の集まりを要約させ、別のモデルで資料に裏付けのない記述を検出します。測るのは事実の整合性であり、要約が役に立つかどうかではありません。2026年9月22日の更新で、掲載された108モデルがどう分布したかを示します。

目を引くことが2つあります。最良のモデルでも完璧ではなく、典型的なモデルは、おおよそ10本に1本の要約に根拠のない主張を加えます。また、このベンチマークは比較的短い文書を使っています。長い章、スキャンしたページ、講義の文字起こしでは、間違いの余地がもっと大きくなります。

現実のテストでも、似た問題が見られます。BBCが、自社のニュース記事に関するAIアシスタントの回答を記者に評価させたところ、51%に重大な問題が見つかり、BBCの内容を引用した回答の19%には、数字や日付の誤りなどの事実の誤りがあり、引用の13%は変更されているか、引用元の記事に存在しませんでした。

• 数字と単位。 15%の増加が50%になる、mgがgになる。
• 否定。 「リスクを高めない」の「ない」が落ちる。
• ぼかした表現。 「関連している可能性がある」が「原因となる」に変わる。理系の授業では、別の主張になります。
• 例外。 「子どもを除く」が消えて、規則が例外なく成り立つように見える。
• 似た用語。 関連する2つの酵素、判例、学者が混ざる。
• 長い文章の中ほど。 長い章の中ほどで、内容が薄くなりやすい。
• 表と図。 図にしかない情報は、飛ばされたり推測されたりする。

文章の中ほどで落ちる問題には、研究の裏付けがあります。『Lost in the Middle』という研究では、言語モデルは長い入力の冒頭か末尾にある情報を最もよく使え、関連する部分が中ほどにあると性能が落ちることが発見されました。長い章なら、全体を一度に要約するのではなく、節ごとに要約するほうがよいということです。

具体例

薬理学の読み物に、「腎機能が正常な成人では、この薬は2時間以内に血圧を下げる可能性がある。妊娠中は推奨されない」と書かれているとします。要約では「この薬は数時間以内に血圧を下げ、妊娠中にも使われる」となるかもしれません。どの言葉ももっともらしく聞こえます。しかし、3つの細部が変わっています。条件(腎機能が正常な成人)が消え、「可能性がある」が断定になり、「ない」が落ちて安全上の助言が逆転しています。これは例であり、実在のツールからの引用ではありませんが、探すべきパターンを示しています。

さっと読んだだけでは気づけないことに注目してください。2つの文を並べて初めて問題が見えます。だから以下の確認は、要約全体を読み返すのではなく、特定の種類の言葉に絞っています。

すべての文を検証する必要はありません。試験に出るものに絞りましょう。定義、数字、手順、限定のつく主張です。医学や法律のような重大な教材向けのより長いチェックリストは、AIのハルシネーションの見つけ方に載せています。

広く引用されている学習法のレビューは、要約作成と読み返しを有用性が低く、練習テストと分散学習を有用性が高いと評価しました。AI要約で読む時間は節約できますが、それを読むのも読み返しの一種です。価値は、そのあと何をするかで決まります。

おすすめの流れはこうです。2分間要約を読んで全体の地図をつかみ、その地図を頭に入れて資料を読み、両方を閉じて問題に答えます。多くのツールは同じ資料からクイズも作れるので、手間なくテストの段階も得られます。要約すること自体が目的のときは、章の要約のやり方で自分で要約を書く方法を紹介しています。

1. きれいな文章を渡す。 テキストのPDFは、ぼやけた写真に勝ります。スキャンを使うなら、抽出された文字を先に確認しましょう。
2. 節ごとに要約する。 章を1節ずつ要約すれば、中ほどが抜けにくくなります。
3. 数字と限定を残すよう頼む。 たとえば「すべての数値、単位、ぼかした表現を書かれたとおりに残してください」。
4. 重要用語を、定義つきで頼む。 資料自体の言葉で。
5. 長さを意識して選ぶ。 短すぎる要約は、より多くを落とします。目安は要約の文字数の目安を参照してください。

AI要約は、ときどき道を間違える、便利で速い地図です。誤りが隠れやすい場所を知り、大事な細部を確認し、読むことからテストへ進みましょう。全体像はAIを使った勉強で、長い文書についてはPDFの要約のやり方で紹介しています。