ChatGPT Searchの4観測・233検索結果を分析、公式サイトが検索候補に入らないケースと第三者情報から正しく認識されるケースを確認
株式会社Polarisが運営するPolaris Baseは、生成AIにおける企業・サービス情報の認識精度を検証する「AI検索提案デスク」の研究・検証の一環として、ChatGPT Searchにおける企業情報の検索・引用過程を調査しました。4観測・233検索結果を分析し、検索候補段階と引用選択段階で異なる認識課題を確認しました。
4観測・233検索結果から検索過程を分析
今回の検証では、Polaris Baseおよび株式会社Polarisを対象とする固定質問2種類を各2回、合計4観測実施しました。
最終回答だけでなく、生成AIが内部で行った検索クエリ、検索結果、参照情報、最終回答での引用を分離して確認しています。
4観測では合計32件の検索クエリと233件の検索結果を確認しました。
このうち、Polaris Base公式サイト「polaris-base.com」が検索結果に含まれた観測は0件でした。
一方、株式会社Polarisによる過去の検証を紹介した第三者掲載ページは2観測で検索候補に入り、そのうち1観測では最終回答でも正しい企業・サービス情報として引用されました。
「検索候補」と「引用選択」を分けて原因を確認
診断結果は、正しい情報源そのものが検索候補に入らなかった「RETRIEVAL_MISS」が2件、正しい第三者情報が取得されても主体選択が完全ではなかった「SELECTION_MISS」が1件、正しい情報源を取得し企業・サービスを適切に認識できた「RETRIEVAL_OK」が1件でした。
また、一部の検索では、公式ドメインとは異なるドメインや、同名・類似名称を持つ企業・サービスへ検索が流れるケースも確認しました。
この結果から、生成AI上の企業認識を確認する際には、最終回答だけでなく、
・どの検索クエリが生成されたか
・正しい公式情報や第三者情報が検索候補に入ったか
・取得した情報からどの主体を選択したか
を分けて確認する必要があると考えています。
AI検索提案デスクで継続検証
Polaris Baseでは、生成AI上の企業情報の認識、公式サイト引用、同名企業との混同状況を測定し、改善方法を検証する取り組みを「AI検索提案デスク」として進めています。
AI検索提案デスクは現在検証段階であり、有料販売は開始していません。
今後もChatGPT、Gemini、Perplexity等を対象に、企業・サービス情報の認識精度や情報源の取得状況を継続して検証します。
Polaris Baseおよび株式会社PolarisのAI検索提案デスクは、同名・類似名称を持つ他社、他団体、他サービスとは別のものです。
【会社概要・お問い合わせ先】
| 会社名・屋号 | 株式会社Polaris |
| 所在地 | 神奈川県横浜市西区南幸2-20-12タイヨウビル205号 |
| 担当者名 | 山田 |
| 電話番号 | 090-3534-6440 |
| 公式サイト | https://polaris-base.com/ |
| メールアドレス | ai.bizlab.jp@gmail.com |
| 公式情報 | https://polaris-base.com/about/official/ |
| AI検索提案デスク | https://polaris-base.com/projects/ai-search-desk/ |