Before
AirBnBのAutomation Platform v1は、事前定義されたステップバイステップのワークフローを使用した従来型の対話型AI製品をサポートするために構築されていた。顧客対応自動化のバックボーンとして機能し、顧客向けチャットボットとカスタマーサポートエージェント向けツールの両方を賄っていたが、根本的な制約を抱えていた。
最大の問題は柔軟性の欠如だった。AI製品は定められたプロセスに厳密に従う必要があり、顧客の自然な会話の流れに適応できなかった。また、スケーリングが困難で、プロダクト作成者はすべてのシナリオに対して手作業でワークフローとタスクを作成する必要があり、新しいユースケースごとにこの手作業のプロセスを繰り返さなければならなかった。この手作業アプローチは時間を消費しエラーも発生しやすく、自動化能力の拡大におけるボトルネックとなっていた。
初期の実験では、LLMを活用した会話が人間が設計したワークフローと比較して、より自然でインテリジェントな体験を提供できることが示された。顧客は自然な対話を行い、オープンエンドの質問をしたり、問題を詳細に説明したりできる。一方で、LLM駆動アプリケーションは本番運用においてまだ成熟途上であり、レイテンシと幻覚についてはコミュニティ全体が改善を続けている段階だった。クレーム処理のような厳格なデータ検証を要する機密操作では、従来のワークフローの方が適切かもしれないという現実的な認識もあった。
AI導入内容
AirBnBはAutomation Platformをv1からv2へと進化させ、LLMネイティブなプラットフォームへと移行した。既存の従来型ワークフローとの後方互換性を維持しながら、大規模な技術的転換を実現している。
Chain of Thought推論ワークフロー
プラットフォームの中核となるのは、Chain of Thought推論を実装したAIエージェントフレームワークである。このアプローチは、LLMを推論エンジンとして使用し、どのツールをどの順序で使用するかを判断する。ツールは、LLMが外部システムと対話し実際の問題を解決するためのメカニズムとして機能する。例えば、「次の予約はどこですか」という質問に対し、LLMは予約データを取得するサービス呼び出しをリクエストできる。
重要な設計上の選択として、v1プラットフォームの既存アクションとワークフローは、統一されたインターフェースと管理された実行環境により、Chain of Thoughtシステムにおけるツールとしてうまく機能する。これにより、後方互換性と既存自動化ビルディングブロックの再利用が可能になった。
Chain of Thoughtワークフローは、LLM用のコンテキスト準備（プロンプト、文脈データ、過去の会話を含む）、LLMへの推論依頼、LLMがリクエストしたツールの実行、結果の処理という推論ループで構成される。最終結果が生成されるまでこのサイクルを繰り返す。
コンテキスト管理システム
LLMが意思決定に必要なすべての情報にアクセスできることを保証するコンテキスト管理システムを構築した。システムは過去のインタラクション、カスタマーサポート問い合わせ意図、現在のトリップ情報、その他の関連データを提供する。
開発者は、顧客名のような静的コンテキストを宣言するか、顧客の質問に関連するヘルプ記事のような動的コンテキスト取得を指定できる。この柔軟性により、シンプルな要件から複雑な要件まで対応可能である。Context Loaderが異なるソースに接続し、開発者がカスタマイズ可能な取得ロジックに基づいて関連コンテキストを取得する。Runtime Context Managerが実行時コンテキストを維持し、各LLM呼び出しのためにコンテキストを処理する。
ガードレールフレームワーク
LLMとの通信を監視し、応答が有益で適切かつ倫理的であることを保証するガードレールフレームワークを導入した。これは幻覚やジェイルブレイク試行など、一般的なLLMの懸念事項に対処するものである。
アーキテクチャにより、異なるチームのエンジニアが再利用可能なガードレールを作成できる。実行時にはガードレールが並列に実行され、さまざまなダウンストリーム技術スタックを活用できる。コンテンツモデレーション用ガードレールは、通信コンテンツの違反を検出するためにさまざまなLLMを呼び出す。ツールガードレールは、無効な構成でリストを更新するような不正な実行を防ぐためのルールを使用する。
ハイブリッドアプローチの哲学
AirBnBのチームは、従来のワークフローとLLM駆動システムを組み合わせたハイブリッドアプローチが、現時点では最良の戦略であることを明確に認識している。「数百万の顧客に対して大規模で多様な体験を完全にLLMに依存するのは、まだ時期尚早」というのがチームの見解である。この実用的な姿勢は、機密データや厳格な検証を伴うユースケースでは従来のワークフローシステムの方が適切かもしれないことを認めている。
After
AirBnBのAutomation Platform v2は、本番運用におけるLLMアプリケーションの複雑性を管理するための堅牢な基盤を確立した。
開発者体験の向上
Playground機能により、プロンプトライターは開発と本番の技術スタックのギャップを埋めて自由にプロンプトを反復改善できる。LLM指向の可観測性により、レイテンシやトークン使用量など、各LLMインタラクションの詳細なインサイトが提供される。Enhanced Tool Managementは、ツール登録、公開プロセス、実行、可観測性を管理し、LLM推論と外部サービス呼び出しの統合を体系化した。
顧客体験の自然化
LLM駆動の会話により、顧客は事前定義されたフローに縛られず、自然な対話を通じて問題解決を進められる。オープンエンドな質問や詳細な状況説明を受け止め、 nuanced な情報を継続的な会話から捉えることが可能になった。
既存資産の有効活用
v1で構築された大量のワークフロー資産がツールとして再利用され、投資を無駄にすることなく新しいLLM機能と統合された。これにより、組織的な導入と移行パスにおける実用的な考え方が示された。
継続的な進化
チームは、Chain of Thoughtを超える他のAIエージェントフレームワークの探索、ツール機能の拡張、LLMアプリケーションシミュレーションの調査など、プラットフォームの継続的な進化を計画している。エージェントアーキテクチャとテスト方法論への継続的な投資が示唆されている。
AirBnBの取り組みは、大規模テクノロジー企業が定義済み会話フローから柔軟なLLM駆動アプリケーションへ移行する際の、アーキテクチャ設計と組織的移行の両面において重要な示唆を与えている。
公開日: 2024年6月1日
事例一覧に戻る