Yahoo DSPがPendoを活用してプラットフォームのパフォーマンスを改善し、顧客満足度を向上させた方法とは

最後に自動販売機をご利用になったときを思い出してみてください。選択した商品が途中で詰まってしまったり、見慣れないエラーコードが表示されると、思わぬ不具合に直面して苛立ちを感じ、ご自身では対処できず、空腹も相まって不快な気分になることがあるかもしれません。

これと同じことがYahoo DSPのプリンシパルプロダクトマネージャーであるKameron Canbaz氏に起こりました。自動販売機の操作を失敗した（本当はドーネッツ［Donnettes］が欲しかった）ことで、彼は摩擦がユーザージャーニーに与える影響について考えるようになり、Pendoアナリティクスを使用してYahoo DSPを変革的なプロダクトジャーニーに乗り出させました。

Canbaz氏は、企業が広告を購入するのを支援するYahooのデマンドサイドプラットフォーム（DSP）で働いています。広告主は、個々のウェブサイトを訪問して1つずつ広告を購入するのではなく、予算と目標をYahoo DSPに入力することで、Yahoo DSPは適切なタイミングで、購入する最適な広告枠を見つけます。

ユーザーのニーズを満たすことがプロダクトの成長を促進する

Yahoo DSPでユーザーが行う最も重要なアクティビティの一つが、キャンペーンの実行と管理です。これにより、広告主はターゲットとするオーディエンスに広告を配信することができ、同時にYahoo DSPはその対価として収益を得る仕組みとなっています。他の複雑なプラットフォームと同様に、Yahoo DSPでも、すばやく対処しないとお客様に影響を及ぼす可能性のある課題が発生することがありました。

プロダクトチームは、広告主に優れた体験を提供するため、こうした課題をいち早く見つけて対処する方法を積極的に模索していました。このチームが求めていたのは、問題を迅速に特定し、最小限のリソースで解決しながら、優れた顧客体験を実現できるソリューションでした。Pendoアナリティクスによって、豊富なデータを収集できるツールが提供され、パフォーマンスを最適化するための貴重なインサイトを得ることができました。

民主化されたデータによる基盤の構築

Canbaz氏は、お客様の課題対応に取り組むプロダクトチームを導くために、シンプルな3ステップのフレームワークを作成しました。

1. データを使って問題を定量化する
2. 戦略を計画し実行する
3. 測定し、変更し、繰り返す

Pendoを使用する前は、プロダクトチームはデータのマイニングと複雑なダッシュボードの作成をエンジニアリングチームに依頼する必要があり、リクエストによっては数日から数週間かかることもありました。しかし、熱心なPendoユーザーとして知識があったCanbaz氏は、トラックイベントが、エンジニアを重要な作業から引き離すことなく、必要なデータを取得するための「失われた環（ミッシングリンク）」を提供できることを認識していました。

Pendoを使用することのもう1つの利点は、データが民主化されることです。すべてのプロダクトマネージャーは、レポートを作成し、情報に基づいた意思決定を行うために必要なデータにアクセスできました。

Pendoアナリティクスは、ユーザー体験を向上させることができる2つの重要な領域として、ページパフォーマンスとエラー処理を発見しました。Canbaz氏は、それぞれの問題を深く掘り下げることで、戦略的なアップデートを行い、顧客体験を迅速に改善する方法を探りました。

トラックイベントを使用してパフォーマンス改善の機会を特定

最初の課題に対処するために、Canbaz氏のチームはプラットフォームの各ページにトラックイベントを設定し、次の3つのエリアに関するデータに注目しました。

• 現在のユーザーパス
• 以前のユーザーパス
• ページの合計読み込み時間

これらのデータポイントにより、Canbaz氏は最大の効果を上げるために何を優先すべきかを判断するために必要な情報を得ることができました。Pendoのページセクションを使用して詳細な指標を収集することで、最も遅いページを確認し、データエクスプローラを使用してその読み込み時間を表示しました。読み込み時間が5秒を超える上位10ページの更新を優先しました。

単一ページデータでエラーメッセージを深掘りする

プラットフォームのエラーに対処するために、Canbaz氏は再度トラックイベントを使用しました。トラックイベントの視点からエラーを確認することで、Canbaz氏のチームはユーザーがプラットフォーム内で何に苦労しているかを把握し、定量化できるようになりました。同氏はプラットフォーム内でエラーメッセージが発生するたびに、トラックイベントを起動するように設定しました。次の4つの項目を追跡しました。

• エラーの種類 — UIかAPIか
• エラーソース — ユーザーがどのようにエラーを体験するか
• 表示されたエラーメッセージ — ユーザーが理解できるものだったか
• 現在のパスと以前のパス — エラーが発生したとき、ユーザーがジャーニーのどこにいたか

まず、Canbaz氏は全体的なエラーレポートを使用して、エラーが最も多いページを見つけ、各ページを深く掘り下げて、パターンを探しました。Canbaz氏は、単一ページレベルのデータを確認することで、エラーメッセージが表示された訪問者やアカウントのタイプに顕著な傾向があるかどうかを特定することができました。また、エラーメッセージを確認し、それが不明瞭または分かりにくいものでないかどうかを判断することもできました。

プラットフォームで目にした例は、自動販売機での失敗と非常によく似ており、受け取ったエラーコードからは、実際の問題に関して何のコンテキストも得られませんでした。ユーザーが受け取ったエラーメッセージには、何が間違っているのか、どうすれば問題を解決できるのかが説明されていませんでした。最終的には、回避策を試みたり、アクションから完全に離脱したりすることになります。エラーメッセージの根本原因を理解するには、ユーザーとエラーが発生した時間枠に関する知識が必要でした。

レポートを活用して迅速なインサイトを生成し、パフォーマンスを向上

Canbaz氏は、すべてのデータを入手した上で、エンジニアリングチームが注力できるように適切なデータを渡す必要がありました。プラットフォームのパフォーマンスを向上させるために、具体的なページを特定するレポートを実行することで、エンジニアリングチームに明確な開始点を与えることができました。エンジニアが改善を実装したことで、最も遅いページの読み込み時間が短縮されました。プロダクトチームは引き続き読み込み時間を測定、監視することで、ページの速度を継続して向上させ、遅いページが新たに発生しないようにしました。

エラーメッセージを修正するために、プロダクトチームは2つのレポートを作成しました。1つは特定日に発生するエラーを見つけるためのもので、もう1つはそのエラーを特定の時間枠に絞り込むためのものです。このレベルまで具体的にすることで、エンジニアが問題に迅速に取り組むために必要な情報を提供することができました。

「エラーが発生する時間枠を具体的に絞り込むことが、エンジニアに提供できる最も有益なデータであることが分かりました」とCanbaz氏は話しました。「そのデータにより、エンジニアは社内システム内のエラーを正確に特定することができます。」

プラットフォームの改善＝顧客満足度の向上

エンジニアリング部門による最初の実装の後には、最も遅い上位10ページの読み込み時間が最大80%短縮されました。顧客は、このプラットフォームがいかに「サクサクと動く」と感じたかについて話し始めました。「B2Bプロダクトに携わっている人であれば、プロダクトに対して顧客から自発的に肯定的なフィードバックをもらうことがどれほど難しいことか知っています」とCanbaz氏は指摘します。

エラーの発生は大幅に減少し、Canbaz氏は「以前は一度に多くのエラーが発生していましたが、実質的にゼロになりました」と話します。彼はDSP内のエラーを減らすために、組織内のより多くのプロダクトマネージャーにエラー報告プロセスを展開し続けています。

測定、修正、繰り返し：Pendoを使用してリスクを軽減

このプロセスは一度で完了するものではありませんでした。Canbaz氏はPendoのデータを使用して、パフォーマンスとエラーデータを継続的に追跡します。Pendoのデータを活用することで、プロダクトとエンジニアリング部門間のやり取りが減り、プロセスが合理化され、アクションまでの時間が短縮されます。

Canbaz氏はレポートが簡単に再現できるよう開発したため、どのプロダクトマネージャーも必要に応じてフィルターを調整するだけで探しているデータを見つけ、エンジニアリング用にパッケージ化できます。Pendoは、Canbaz氏とそのチームがデータを提供し、改善を実行し、成功を監視し続けるのを支援しています。

「Pendoを使用することで、問題の全体を素早く把握することができました」とCanbaz氏は説明します。「問題に対する修正を開発する際には、引き続きフレームワークに従い、必要に応じて調整しながら、継続的な進歩につなげています。これにより、私たちは継続してプラットフォームを信じられないほどユーザーフレンドリーにするための時間を確保できます。」

プロのヒント

• Errors are inevitable and how we handle them matters. Be vigilant about finding and fixing errors before they drive your users away.
• パフォーマンスの問題はワークフローを台無しにすることがあります。データを使用して、パフォーマンスに問題がある場所を正確に特定し、修正方法を決定しましょう。
• 問題を予測するのは難しいものです。私たちが問題に気付いたときには、ユーザーはすでに影響を受けている可能性があります。これらの問題を迅速に発見して解決するには、ユーザーの声に定期的に耳を傾ける必要があります。