Agent Search（旧Vertex AI Search）は、Googleの検索技術と生成AIを融合し、Webサイトや社内の各種ドキュメントといった企業が持つあらゆるデータに対して自然言語による検索・回答生成ができるサービスです。
本記事では、Agent Searchで用いられている検索技術の中でも核となるセマンティック検索という技術について解説します。
Agent Searchについて詳しく知りたい方は以下の記事をご覧ください。
セマンティック検索とは
セマンティック検索は、検索したキーワードを含むドキュメントをヒットさせる従来のキーワード検索と異なり、ユーザーが入力したクエリの意味や検索意図を理解して情報を検索する技術です。
ユーザーの入力の意味を解釈するだけでなく、検索したユーザーの地域や過去の検索履歴といった様々なコンテキストを考慮することで、よりユーザーの目的に合致した高精度な結果を提供することが可能です。
セマンティック検索の仕組み
次に、セマンティック検索がどのような仕組みで実行されるかを説明します。
セマンティック検索とは、言葉の意味や文脈を理解して検索を行うアプローチの総称であり、その主たる実現手段としてベクトル検索という技術が用いられます。その具体的な処理フローは以下の通りです。
データソースとなるドキュメントを、意味的なまとまり毎に小さな塊（チャンク）に分割します。
分割した文章の塊を多次元の数値データ（ベクトル）に変換します。ベクトル変換の際には、意味が近い表現同士のベクトル間の距離が近くなるように変換されます。
変換したベクトルと元のドキュメントの対応関係をデータベースに登録します。
ユーザーが検索したクエリを、データソースのベクトル化に用いたものと完全に同じAIモデルを使ってベクトルに変換します。
変換したベクトルと、データベース内のベクトルとの距離を計算し、距離の近いものを検索結果として返します。
セマンティック検索とその他の検索の比較
セマンティック検索とその他の検索手法について比較したのが以下の表です。
| 検索手法 | 仕組み | メリット | デメリット |
|---|---|---|---|
| セマンティック検索 | 検索キーワードの意味や意図を理解し、検索結果を返す | 同義語、あいまいな用語などの複雑なクエリを処理するのが得意 | 固有名詞や製品型番などの検索に弱い。計算コストが高い |
| キーワード検索 | クエリとドキュメント内のキーワードの一致度で結果を返す | 特定の専門用語など、キーワードの正確なマッチングに優れている | 同義語や表記の揺れ、文章による曖昧なクエリに弱い |
| ファセット検索 | 予め検索条件を用意しておき、ユーザーの選択に合致する結果を返す | 文字入力せずに、絞り込みのようなUXで検索が実行できる | 構築や運用の際に、逐一データのタグ付けが必要 |
| ハイブリッド検索 | セマンティック検索とキーワード検索を組み合わせて、より高い精度の検索を行う | セマンティック検索のとキーワード検索のメリットを両方得られる | 異なる検索結果を統合する方法（リランキング ）が必要 |
Agent Searchにおける検索の流れ
Agent Searchではセマンティック検索だけでなくキーワード検索も組み合わせたハイブリッド検索が採用されています。
セマンティック検索は同義語や表記ゆれの吸収に優れる一方、固有名詞の検索を苦手とします。キーワード検索はこれと対照的な特性を持つため、両者を掛け合わせて互いのデメリットを補完することで、精度の高い検索が可能になります。
Agent Searchでは、まずWebサイトやテキストファイル、PDF、JSON、BigQuery等を連携してデータストアを作成し、そのデータストアに対して検索が実行されます。以下のような流れになります。
◆ フェーズ1：データストアへのインポート
Agent SearchにWebサイト、ドキュメント、BigQueryなどのデータを連携してデータストアを作成すると、以下の処理が行われます。
- データの解析とテキストの抽出
各種データが読み込まれると、データソースの種類毎に異なる処理によってテキストを抽出し、見出しや段落などの文書構造が解析されます。
データソースごとの処理の違い
- Webサイト：ページをレンダリングした上で内容を解析し、ナビゲーション等を除外したメインコンテンツを抽出します。
- 非構造化データ（PDF、画像、ドキュメントなど） ： テキストおよびレイアウトを解析・抽出します。画像やPDFの場合は、必要に応じてOCR等を用いてテキストが抽出されます。
- 構造化データ（BigQuery、JSONなど） ： 特定のフィールドがそのまま抽出対象となります。
- チャンク化・ベクトル化
抽出されたテキストは、自動でチャンク化（※構造化データは除く）、ベクトルデータへの変換が行われます。この際、意味が似ている表現同士は、ベクトル空間上での距離が近くなるように配置されます。
- データストアへの格納
ハイブリッド検索を実現するため、セマンティック検索用のベクトルデータと、キーワード検索用・回答生成用のテキストデータの両方が、データストアに保存されます。
◆ フェーズ2：ユーザーのクエリ実行時
ユーザーが検索を実行した場合に実行されるプロセスです。
- ハイブリッド検索のリアルタイム実行
ユーザーのクエリがその場でベクトル化され、データストア内で距離が近いベクトルを持つ情報を抽出します。これと同時に、型番などの取りこぼしを防ぐため、テキストベースのキーワード検索も実行されます。
- 複数の検索結果を元にリランキング
セマンティック検索が算出した意味の近さのスコアと、キーワード検索の文字の一致度スコアを合算します。さらに情報の新鮮さや、特定のページを優先・除外する設定（boost / bury）などを加味して検索結果が作られます。
- 回答の生成
回答生成機能がオンになっている場合には、検索結果の中から情報をピックアップし、生成AIによって回答の文章を組み立てて、根拠となるデータソースのリンクと共に返却します。
まとめ
本記事では、Agent Searchの重要な技術であるセマンティック検索について解説しました。
セマンティック検索は、単なるキーワードの完全一致だけでなく、検索クエリの文脈の意味や検索意図を理解して情報を探す手法です。同義語や曖昧な文章での検索など、複雑な検索の対応に優れています。
一方で、セマンティック検索には固有名詞や型番などの完全一致検索に弱いという弱点もあります。これを克服するため、Agent Searchでは従来のキーワード検索を並行して走らせるハイブリッド検索を標準採用しています。
Agent Searchの強力な検索機能を、自社のWebサイトに最短かつ安全に導入したい方におすすめなのが、AIサイト内検索サービス「SiteAsk（サイトアスク）」です。
SiteAskではAgent Searchの優れた検索・回答生成機能をベースに、ユーザーの自然言語による質問に対して、Webサイト内の情報から最適な回答をAIが生成し、引用元ページと共に提示します。
さらに、SiteAsk独自の「3層AIガードレール」によるハルシネーション防止機能や、適切な回答ができているかを検証して回答品質を向上させていくための会話ログ分析機能を備えています。導入方法はGoogleタグマネージャーによるタグ設置のみで、ソースコード改修不要で利用開始が可能です。
Agent Searchを活用したAIサイト内検索を手軽にWebサイトに導入したい方は、ぜひSiteAskの導入をご検討ください。
