AppFolio：AIコパイロット「Realm-X」で物件管理業務を週10時間短縮

Before

AppFolioは不動産業界を支えるテクノロジーリーダーであり、物件管理ソフトウェアを通じて多くのプロパティマネージャーの日々の業務を支えている。しかし、従来のプラットフォームインターフェースでは、プロパティマネージャーが住人、業者、ユニット、請求書、作業指示書などに関する情報を検索したり、一括操作を実行したりする際に、多数の画面遷移と手作業が必要だった。業務の効率化と顧客体験の向上のため、より直感的な自然言語インターフェースへの刷新が求められていた。

特に複雑な問い合わせや一括アクションでは、プロパティマネージャーが必要な情報に到達するまでに多くのステップを踏む必要があり、業務の生産性に大きな影響を与えていた。生成AIの可能性は認識されていたものの、複雑なリクエストを正確に処理し、異なるシステムコンポーネントからの応答を統合してユーザーに提示する仕組みの構築は技術的な課題となっていた。

AI導入内容

AppFolioは 「Realm-X Assistant」 というAI駆動のコパイロットを開発し、最新の基盤モデルと業界特化のコンテキストを組み合わせた対話型アシスタントを物件管理平台に組み込んだ。この開発において、LangChain、LangGraph、LangSmithを戦略的に活用している。

LangGraphによる柔軟なエージェントアーキテクチャ

Realm-Xは当初LangChainを使用して構築され、モデルプロバイダーの切り替えをコード変更なしで行える相互運用性を確保していた。ツールの使用や構造化出力の生成も容易に実装できた。しかし、アシスタントの進化に伴い、より複雑なリクエストへの対応が必要になり、LangGraphへの戦略的移行を実施した。

LangGraphへの移行により、異なるノードからの応答をユーザーに表示するための集約プロセスが簡素化された。さらに重要なのは、独立したコードブランチを並列実行できる能力である。関連アクションの判定中に、フォールバックの計算とヘルプページに対するQ&Aボットを同時に実行できる。これにより、Realm-Xは関連する提案をリアルタイムで提示しつつ、レイテンシを最小限に抑えている。

LangSmithによる生産環境の可視化とデバッグ

AppFolioはLangSmithを活用し、開発時のデバッグと本番環境でのユーザーインタラクション分析の両方で可視性を確保している。本番環境では、リアルタイムのフィードバックチャートでエラー率、コスト、レイテンシを監視している。ユーザーがRealm-Xが作成したアクションを送信した際には、自動的にフィードバックが収集される仕組みも導入した。

さらに、LLMまたはヒューリスティック評価器に基づく自動フィードバックにより、システム健全性を継続的にモニタリングしている。LangSmithのトレーシング機能は、問題発生時の原因特定を容易にし、開発時には比較ビューやPlaygroundを活用してワークフローを反復改善している。

ダイナミック few-shot プロンプトによる性能向上

LangSmithが支援する重要なイノベーションの一つが、ダイナミック few-shot プロンプトである。クエリに応じて関連する例を動的に引き出すことで、よりパーソナライズされた正確な応答を実現している。LangSmithの比較ビューは、プロンプトの微妙な差異を特定するのに特に有用で、テキストtoデータ機能の性能を**約40%から約80%**まで大幅に向上させることに成功した。

継続的改善のための評価体制

AppFolioはユーザー体験とフィードバックを最優先に置き、Realm-Xワークフローの各ステップをカスタム評価器とLangSmithツールで厳密にテストしている。メッセージ履歴、メタデータ、理想の出力を含むサンプルケースの中央リポジトリを維持し、評価、ユニットテスト、例示として活用している。評価はCIで実行され、結果はPRに統合される。ユニットテストをパスし評価閾値を満たさない限り、コード変更はマージされない厳格な品質管理を実施している。

After

Realm-X Assistantの導入により、AppFolioは以下の定量的・定性的な成果を達成した。

業務時間削減：週10時間以上

初期ユーザーは、Realm-Xの支援によりToDoリストの消化において週10時間以上の時間削減を報告した。プロパティマネージャーは情報検索や定型的なコミュニケーションに費やしていた時間を、より価値の高い顧客対応や戦略的業務に振り向けることができるようになった。

text-to-data 性能：約40% → 約80%

ダイナミック few-shot プロンプトの導入により、テキストからデータを抽出・変換する機能の精度が倍増した。ユーザーがクエリできるアクションやデータモデルの数を増やしても、高い性能を維持している。

開発速度と品質の両立

LangGraphによる状態管理とLangSmithの監視機能を組み合わせることで、複数のシステムコンポーネントからの応答を統合し、明確で実行可能なユーザー出力を確保している。自己検証ループの導入により、今後さらなる性能と信頼性の向上が見込まれている。

AppFolioの取り組みは、エンタープライズ環境においてAIエージェントを段階的に進化させ、監視と評価を通じて品質を担保しながら生産性を向上させるモデルケースとして注目されている。