RAGの回答が資料と食い違うときは、文章の分け方で条件が欠けていないかを確認します。この記事ではチャンク分割の比較例を起点に、検索と回答のどこを直すかを切り分けます。
RAGは、参照情報を検索し、その内容を使って回答を生成する仕組みです。回答が間違っているとき、指示文だけを直しても改善しない場合があります。必要な文書を検索できていなければ、回答の材料が不足しているためです。MicrosoftのRAGの概要
改善では、資料、検索結果、回答の順で確認します。ここでは実装製品を決めず、業務担当と開発担当が同じ失敗例を見られる記録方法を紹介します。
チャンクとは、検索するために分けた文章の単位
長い文書を検索しやすい単位へ分割したものをチャンクと呼びます。短すぎると条件が欠け、長すぎると無関係な説明が混ざることがあります。文字数だけで決めず、見出し、表、注記、文書名や版との関係を確認します。分割方式や重なりの取り方は製品・文書で変わります。Microsoftの文書分割の説明
架空の規程に「備品購入は部門長の承認が必要。ただし1万円未満の消耗品は担当者判断」とある場合を考えます。
| 分け方 | 起きうる問題 | 比較で見る点 |
|---|---|---|
| 承認の文と例外の文を別々にする | 前半だけ検索され、全購入に承認が必要と答える | 例外条件も取り出せるか |
| 見出し・原則・例外を一緒にする | 条件を含めて読めるが、長い表が続くと範囲が広がる | 質問に必要な範囲と根拠を返すか |
| 表の行を分け、列名を落とす | 金額や対象の意味を取り違える | 列名、単位、脚注を保持するか |
「8千円の消耗品は承認が必要か」「記載のない海外購入はどうするか」の両方で、検索結果と回答を保存します。改善後に正しい回答が増えても、閲覧不可の文書が混ざるなら合格にしません。分割した断片にも元文書の権限を反映できる構成か、別に検証します。
利用者の変更や引用先まで含む確認は、部署をまたぐRAGのアクセス権限の試験例を参照してください。
失敗した一問を三段階で調べる
| 確認する段階 | 質問 | 問題がある場合の方向 |
|---|---|---|
| 資料 | 採用した文書に正しい答えがあるか | 資料を更新・追加する |
| 検索 | 答えのある箇所が検索結果に出たか | 取込、用語、分割、検索条件を調べる |
| 回答 | 検索結果の内容を正しく使ったか | 指示、参照範囲、回答形式を見直す |
「資料にない」「検索できない」「検索できたが答え方が違う」を同じ誤答として扱わないことが重要です。
代表的な質問を固定する
担当者が日常使う言い方で質問を作り、期待する根拠資料と箇所を添えます。専門用語を知っている人だけが作る質問に偏らないようにします。
架空の例で、利用者は「納品後に文章を直したい」と尋ね、資料は「検収後の変更対応」という見出しで説明している場合があります。質問と文書の表現が違うため、用語の対応を確認する必要があります。
一方、正式名称しか知らないと答えられない質問もあり得ます。検索の改善だけでなく、必要な条件を聞き返す設計を検討します。
実際に検索された断片で、条件の切れ目を見る
最初に決めた分割単位が、実際に検索された断片ではどこまで一緒に渡っているかを見ます。本文の「対応可能」と脚注の対象条件が別の断片なら、分割位置か重なりを調整します。
チャンクの長さ、隣の断片と重ねる範囲（オーバーラップ）、見出しの付け方を確認し、実際に検索された部分を見て判断します。見出し、表、注記がどこまで一緒に渡っているかを確認してください。適切な分割方法は資料によって異なります。
原因に合わせて、試す手法を選ぶ
検索できない理由が分かったら、次の表から一つだけ変えて比較します。複数の設定を同時に変えると、どの変更が効いたか分からなくなるためです。
| 失敗の見え方 | 試す手法 | 比べる内容 |
|---|---|---|
| 答えが表や注記にあるのに取り込めていない | 文字抽出と文書分割を直す | 条件と例外を同時に検索できるか |
| 製品コードや正式名称の質問に弱い | キーワード検索を併用する | 指定した語を含む資料が候補へ出るか |
| 現場の言い方と文書の用語が違う | 用語の対応を整え、意味の近さを使う検索も比較する | 自然な質問で正しい資料を拾えるか |
| 正しい資料は候補にあるが下位に埋もれる | 検索後の再順位付けを試す | 回答へ渡す範囲に根拠が入るか |
| 別の商品や旧規程の資料が混ざる | 商品・適用期間などの絞込みを見直す | 対象資料を落とさず、無関係な条件を除けるか |
キーワードと意味の近さによるベクトル検索を組み合わせる方法を、ハイブリッド検索と呼びます。Microsoftの説明でも、製品コードなどの語の一致と、言い換えへの対応を組み合わせる考え方が示されています。ハイブリッド検索の公式解説
再順位付けは、検索済みの候補を質問との関連性で並べ直す処理です。最初の検索に入らなかった資料まで必ず見つける方法ではありません。検索結果の再順位付け
どの機能が使えるかは製品で異なります。閲覧権限は検索精度と引き換えに緩めず、権限のある資料の中で比較します。
検索と回答に、別の評価欄を設ける
架空の試験として、根拠箇所が決まっている質問を10問用意し、上位5件に根拠を含む資料が出るかを比べます。変更前6問、変更後8問なら、この質問セットでは6/10から8/10になったと記録できます。これは自社の実測値でも、導入効果の予測でもありません。
この値だけで回答の正確さは判断できません。根拠を検索できた8問それぞれについて、条件を落とさず回答したかを別欄で確認します。答えのない質問や条件不足の質問も別枠で試し、無理に断定しないかを見ます。平均点にまとめる前に、残った失敗例を読むことが次の改善につながります。
変更は記録を残して比較する
質問ID：
利用者の質問：
期待する資料と箇所：
実際の検索結果：
生成された回答：
失敗の種類：資料不足／検索不足／回答の誤り／確認不能
変更した点と再確認結果：
変更後には、改善対象の一問だけでなく、以前答えられた質問も試します。資料や設定の版を記録して、どの状態の結果かを明確にします。
答えがない場合の動きも評価する
検索で答えが見つからないときに、一般知識から社内ルールを作って答えないかを確認します。「資料では確認できない」と示し、管理者や参照先へつなぐことも、業務上は必要な動作です。
検索の精度だけでなく、利用者が確認を続けられる出力になっているかを評価します。取り込み前の準備は社内資料をAIで検索するガイドで確認できます。
改善箇所を絞れない場合は、質問・検索結果・期待する根拠を一組にして社内検索の見直しを相談できます。実装や改修の範囲は利用環境を確認してから決めます。