DoorDash：LLMによる検索意図理解と配達員サポート自動化

Before

DoorDashは消費者、店舗、配達員（Dasher）をつなぐ3面マーケットプレイスを運営する物流テック企業である。同社の検索システムは、単なるキーワードマッチングではなく、マルチインテント、マルチエンティティ、地理情報対応の動的エンジンとして機能している。例えば「apple」というクエリに対し、生鮮食品を探しているのか、レストランのリンゴジュースなのか、Appleブランド製品なのか——文脈に応じた意図の推定が必要となる。

しかし、従来の統計的手法（PMIやn-gram分析）に基づくクエリセグメンテーションは、複雑なクエリに対して限界があった。例えば「turkey sandwich with cranberry sauce」という検索では、「cranberry sauce」が単独のアイテムなのか「sandwich」の属性なのか、従来の手法では文脈を捉えきれなかった。また、「vegan chicken sandwich」のようなクエリでは、キーワード検索だけではビーガンでないチキンサンドや、チキンを含まないビーガンサンドが混入し、ユーザーの意図を正しく満たせない結果が生じていた。

一方、配達員向けサポートでは、事前に構築された決定木型の自動対応システムに依存していたが、この方式では対応可能な問題のごく一部にとどまっていた。ナレッジベースには充実した記事があったものの、関連記事を見つけるのが難しい、記事内の有用な情報に辿り着くのに時間がかかる、記事が英語のみで多言語に対応していない——という3つの課題が存在した。結果として、多くのDasherが人間のサポートエージェントへのエスカレーションを必要とし、対応コストが増大していた。

AI導入内容

DoorDashはこれらの課題に対し、大規模言語モデル（LLM）を核とした2つのAIシステムを開発・導入した。消費者向け検索のクエリ理解強化と、配達員向けRAGベースチャットボットである。

消費者検索：LLMによるクエリ理解と知識グラフ連携

クエリセグメンテーション

LLMを活用して、検索クエリを意味のあるセグメントに分解する仕組みを構築した。ただし、LLMのハルシネーション（虚偽情報の生成）リスクを抑えるため、同社のナレッジグラフから構築した制御されたボキャブラリ（オントロジー）を活用している。例えば「small no-milk vanilla ice cream」というクエリは、単なる文字列分割ではなく、以下のように構造化される：

{
  Quantity: "small",
  Dietary_Preference: "no-milk",
  Flavor: "vanilla",
  Product_Category: "ice cream"
}

この構造化カテゴリによるアプローチにより、セグメンテーションの精度が向上した。ハルシネーション率は1%未満に抑えられている。

エンティティリンキングとRAG

セグメント化されたクエリを、ナレッジグラフ内の概念に紐付けるために、RAG（検索拡張生成）を採用した。まず近似最近傍探索（ANN）で候補となる概念ラベルを100件検索し、その中からLLMが最適な概念を選択する方式である。例えば「no-milk」というセグメントは、候補として「dairy-free」や「vegan」を受け取り、文脈に応じて最適な概念に紐付けられる。これにより、商品名や説明文への完全な文字列一致に依存しない柔軟な検索が実現した。

メモリゼーションと汎化のハイブリッド

LLMを用いたバッチ推論は固定クエリセットに対して高い精度を示すが、スケーラビリティや鮮度維持に課題がある。そのため、LLMによるクエリ理解と、埋め込み検索・BM25などのリアルタイム汎化手法を組み合わせたハイブリッドアプローチを採用している。これにより、新規クエリや長尾クエリにも柔軟に対応しながら、LLMの深い文脈理解力を活かした高精度な検索を実現している。

Dasherサポート：RAGチャットボットと品質監視

配達員向けサポートでは、ナレッジベースの記事から情報を検索して回答を生成するRAGベースのチャットボットを導入した。GPT-4やClaude-3などのLLMを活用し、配送中に発生する様々な問題に対して人間のような柔軟な対話を提供する。

回答品質を確保するため、LLM JudgeとLLM Guardrailを組み合わせた品質評価・監視システムを構築した。LLMの非決定性（同じ入力でも異なる回答が生成される特性）によるリスクを管理し、プロンプト変更の影響をシミュレーションで事前に評価できる仕組みを整えた。人間のエキスパートが評価ガイドラインを策定し、エッジケースやキャリブレーションを担当する一方、日常の品質監視はLLMによって自動化されている。

After

LLMの統合により、DoorDashの検索とサポートの両方で質的な飛躍が実現した。

検索体験の向上

複雑で多義的なクエリに対する理解精度が向上し、「vegan chicken sandwich」のようなクエリでも飲食制限を優先した正確な結果を返せるようになった。クエリとカタログのより深い理解により、検索のリコール（網羅性）とプレシジョン（適合率）の両方が改善され、消費者は意図した商品や店舗をより確実に発見できるようになった。さらに、属性間の関係性の理解が消費者行動の洞察にも寄与し、例えばスパイシーな料理やラテンアメリカ料理を好むユーザーのパーソナライゼーションにも活用されている。

Dasherサポートの自動化

RAGチャットボットは毎日数千件のDasher問い合わせを自律的に支援している。基本的なサポート依頼はAIで迅速に解決され、人間のサポート担当者はより複雑な問題に集中できる体制が確立された。多言語対応の課題も、LLMの言語理解能力により段階的に改善が進んでいる。

DoorDashは今後もLLMを活用したクエリ書き換えや検索パスの推薦、新規ユーザーのための人気商品提案など、さらなる検索体験の進化を目指している。複雑な3面マーケットプレイスのダイナミクスをLLMで理解し、すべてのステークホルダーにとってより良い体験を提供し続ける。