Spotify：LLMでパーソナライズドナラティブを実現し推薦クリック率4倍向上

Before

Spotifyは、音楽、ポッドキャスト、オーディオブックを通じてリスナーとクリエイターを有意義に繋ぐことを目指す世界最大級のオーディオストリーミングプラットフォームである。従来、Spotifyのユーザーは楽曲推薦を受ける際、カバーアートやアーティストやジャンルへの既知の familiarity に依存していた。推薦に対する透明性と文脈が不足しており、ユーザーが新しいコンテンツを探索する際の信頼と深いエンゲージメントの促進に課題があった。

推薦システム自体は、過去10年間でグラフニューラルネットワークや強化学習などの多様なML技術を活用して進化してきた。しかし、推薦された楽曲が「なぜ自分に合うのか」を説明するパーソナライズされた文脈の提供には限界があった。カバーアートと既知のアーティスト名だけでは、ユーザーが未知のコンテンツに踏み出す動機が十分ではなく、特にニッチな音楽や新興アーティストの発見が阻害されるケースがあった。

また、SpotifyのAI DJ機能（2023年にローンチ）では、パーソナライズされた解説コメンテリーを提供していたが、スケーラビリティと文化的文脈の深い理解が課題となっていた。音楽エディターの専門知識と文化的洞察を最大限に活かしながら、数百万のリスナーそれぞれに豊かな文脈駆動型コメンテリーを提供する仕組みの構築が求められていた。

AI導入内容

Spotifyは、大規模言語モデル（LLM）の力を借りて、パーソナライズドナラティブ（personalized narratives）と呼ぶ新しい推薦体験を構築した。これは、個々のリスナーに共鳴し、推薦内容を個人レベルで親しみやすくするストーリーである。

バックボーンモデルの選定

Spotifyは、幅広い世界知識、機能的多様性、コミュニティサポート、AI安全性という4つの基準を満たすバックボーンモデルを選定した。評価の結果、MetaのLlamaモデルファミリーが、信頼性の高いバックボーンモデルとして重要な要件を満たし、ドメイン適応にも適していると判断された。

新リリースの文脈化推薦説明

LLMを活用して、音楽・ポッドキャスト・オーディオブックの推薦に簡潔で意味のある説明を追加する機能を開発した。例えば、「Dead Rabbittsの最新シングルはメタルコアのアドレナリンラッシュだ！」や「U2の象徴的な1993年ダブリンコンサートをZOO TV Live EPで体験しよう」といった、コンテンツの文脈を伝える説明文を生成する。

これらの説明は、バックボーンモデルの広範な知識とSpotifyのオーディオコンテンツ専門知識を組み合わせて作成される。ゼロショットや少数ショットプロンプティングから始め、専門エディターによる「ゴールド事例」の提供と継続的なフィードバック、プロンプトエンジニアリング、指示チューニング、敵対的テストなどを通じて反復的に品質を向上させた。

AI DJのリアルタイムコメンテリー

AI DJ機能において、LLMを活用してパーソナライズされた解説コメンテリーをスケールする仕組みを構築した。音楽エディターのジャンル専門知識と文化的洞察を、生成AIツールを通じて効果的に拡張することで、各リスナーの音楽嗜好に深く根ざした文化的に適切なナラティブを生成できるようになった。

小規模なLlamaモデルのファインチューニングにより、最先端モデルと同等の文化的認識とエンゲージングなナラティブを生成しつつ、コストとレイテンシーを大幅に削減することに成功した。

スケーラブルなインフラストラクチャ

大規模なデータキュレーションとトレーニングエコシステムを構築し、LLMの迅速なスケーリングを実現。拡張事前トレーニング、監督付き指示ファインチューニング、人間のフィードバックからの強化学習、直接選好最適化、徹底した評価などを実施した。

分散トレーニングにおいては、マルチノード・マルチGPUクラスターでの長時間大規模トレーニング中のシステム障害に対する耐性を確保するため、高スループットチェックポイントパイプラインを開発。チェックポイント時間の短縮とGPU利用率の最大化を実現した。

推論効率化にはvLLMを統合し、低レイテンシーと高スループットを実現。数百万のユーザーにリアルタイム生成AIソリューションを提供している。

After

SpotifyのLLMを活用したパーソナライズドナラティブの導入により、推薦システムにおけるユーザーエンゲージメントが劇的に向上した。

推薦クリック率：最大4倍向上

オンラインテストの結果、アーティストや音楽に関する意味のある詳細を含む説明が付いた推薦は、ユーザーエンゲージメントが大幅に向上した。特にニッチなコンテンツにおいて、説明付きの推薦をクリックする可能性が最大4倍に達した。これは、コンテキストが提供されることでユーザーが未知のアーティストやコンテンツを探索するハードルが大きく下がったことを示している。

AI DJコメンテリーの効果

AI DJのパーソナライズされたナラティブにより、リスナーは新しい音楽や楽曲の背景にあるストーリーを探索できるようになった。コメンテリーを聞きながら個人の音楽推薦を楽しむことで、ユーザーは本来スキップしていた楽曲を聴く意思が高まることが、選択されたマーケットでのベータ展開を通じて確認された。

ドメイン適応の成功

Spotify固有のタスクを対象としたLlamaのマルチタスク適応により、標準のLlama性能と比較して最大**14%**の大幅な改善を達成。MMLUベンチャリルとしてLlamaの元の能力も保持することに成功し、ドメイン特化型の性能向上と基盤能力の維持を両立させた。

アーティスト発見の促進

パーソナライズされた説明やAI DJコメンテリーにより、リスナーが自ら探索しないであろう新しいアーティストやコンテンツに出会う機会が増えた。これは、クリエイターとリスナーを繋ぐSpotifyの重要な目標の一つであり、プラットフォーム全体のエコシステム活性化に貢献している。

Spotifyのアプローチは、最先端の生成AIと深いドメイン専門知識を組み合わせることで、推薦システムの可能性を拡張し、リアルタイムで高度にパーソナライズされた体験を提供する新しいモデルを示している。今後も、基盤研究からチェックポイントパイプラインやマルチタスクファインチューニングなどの実用的な進歩まで、業界全体のAIエコシステムの発展に貢献していく方針である。