社内検索AIの回答にリンクが付いていても、そのリンクが実際に回答を支えているとは限りません。関連する文書が表示されているだけ、旧版を参照している、複数の条件を混ぜている、といった可能性があります。
根拠の確認では、文書の存在、回答との対応、適用範囲、現在の有効性を分けます。リンクの数を増やすことだけを、信頼性の改善にしないようにします。
根拠に付ける情報
| 情報 | 何を確認できるか |
|---|---|
| 文書名と保存先 | 元資料を開けるか |
| ページ・見出し・該当箇所 | 回答の根拠がどこか |
| 採用した版・確認日 | 古い条件ではないか |
| 対象業務・利用者 | 今回の質問に適用できるか |
回答文の隣に、根拠資料の何を使ったかが分かる形にします。資料全体へのリンクだけだと、利用者が長い文書を探し直すことになります。
回答の一文ごとに照合する
架空の回答「変更は月2回まで無料で、翌営業日に反映します」を考えます。資料には月2回の変更だけが書かれ、費用と反映日は別途相談だった場合、リンクは存在していても回答全体の根拠にはなりません。
この場合は、回数、費用、反映日を三つの主張へ分けて確認します。資料にない条件を削るか、確認事項へ戻します。
根拠付きの回答を作る指示
あなたは社内資料を使った回答の下書き担当です。質問と採用資料を読んでください。
出力:回答項目/根拠の文書名・版・箇所/適用条件/確認事項
資料が支える内容を項目ごとに書き、資料間の条件差は別表で示してください。
根拠がなければ確認できないと記載し、資料にない規程や位置情報を作らないでください。
AIが記載した位置情報も確認対象です。存在しないページ番号や、別の見出しが付いていないかを実際の文書で確かめます。
資料同士が矛盾する場合
新旧の版が混在しているなら、正本を決めます。対象商品や契約ごとの条件が異なるなら、質問に必要な条件を聞き返します。どちらの文書が長いか、更新日時が新しいかだけで採用を決めないようにします。
資料の管理者をたどれるようにしておくと、AIでは判断できない矛盾を解消できます。質問者が管理者を知らなくても、次の確認先が分かる出力が役立ちます。
根拠表示の確認を試行に入れる
答えの文章が正しいかだけでなく、参照先が開くか、利用者に閲覧権限があるか、該当箇所を見つけられるかも確認します。
社内文書を更新した後は、過去の回答や保存済みリンクがどう扱われるかを確かめます。検索結果が新しくても、古い会話を再利用する場面があるためです。
根拠を付ける目的は、AIを無条件に信用させることではなく、人が確かめて仕事を進められることです。文書と権限の準備は社内検索の始め方を参照してください。
引用先があるだけで、根拠があるとは決めない
架空の回答「申請は全社員が翌月5日までに行えます」に対し、引用先が「営業部の国内出張に限り翌月5日まで」と書いていたら、リンクは実在しても回答の対象が広がっています。
| 照合するもの | この例で見る箇所 |
|---|---|
| 主語 | 全社員なのか営業部なのか |
| 対象 | すべての申請なのか国内出張なのか |
| 条件 | 期限の例外や承認の要否 |
| 版 | その規程が現在も適用されるか |
| 表示権限 | 質問者が元の箇所を閲覧してよいか |
回答を一文ずつ分け、各主張を支える文書の箇所を対応させます。根拠から判断できない部分は、「資料では確認できません」と範囲を示してください。検索した文書の一覧を付けるだけで、その文書が回答を支えているとみなさないことが大切です。
回答の出典確認に手間がかかる場合は、質問と、根拠をたどれなかった箇所を整理して根拠を確かめられる社内検索を相談できます。