最後に自動販売機をご利用になったときを思い出してみてください。選択した商品が途中で詰まってしまったり、見慣れないエラーコードが表示されると、思わぬ不具合に直面して苛立ちを感じ、ご自身では対処できず、空腹も相まって不快な気分になることがあるかもしれません。
This exact thing happened to Kameron Canbaz, Principal Product Manager at Yahoo DSP. A failed vending machine interaction (he really wanted those Donnettes) got him thinking about how friction affects user journeys, and launched Yahoo DSP on a transformative product journey with Pendo Analytics.
Canbaz氏は、企業が広告を購入するのを支援するYahooのデマンドサイドプラットフォーム（DSP）で働いています。広告主は、個々のウェブサイトを訪問して1つずつ広告を購入するのではなく、予算と目標をYahoo DSPに入力することで、Yahoo DSPは適切なタイミングで、購入する最適な広告枠を見つけます。
ユーザーのニーズを満たすことがプロダクトの成長を促進する
Yahoo DSPでユーザーが行う最も重要なアクティビティの一つが、キャンペーンの実行と管理です。これにより、広告主はターゲットとするオーディエンスに広告を配信することができ、同時にYahoo DSPはその対価として収益を得る仕組みとなっています。他の複雑なプラットフォームと同様に、Yahoo DSPでも、すばやく対処しないとお客様に影響を及ぼす可能性のある課題が発生することがありました。
プロダクトチームは、広告主に優れた体験を提供するため、こうした課題をいち早く見つけて対処する方法を積極的に模索していました。このチームが求めていたのは、問題を迅速に特定し、最小限のリソースで解決しながら、優れた顧客体験を実現できるソリューションでした。Pendoアナリティクスによって、豊富なデータを収集できるツールが提供され、パフォーマンスを最適化するための貴重なインサイトを得ることができました。
民主化されたデータによる基盤の構築
Canbaz氏は、お客様の課題対応に取り組むプロダクトチームを導くために、シンプルな3ステップのフレームワークを作成しました。
- データを使って問題を定量化する
- 戦略を計画し実行する
- 測定し、変更し、繰り返す
Pendoを使用する前は、プロダクトチームはデータのマイニングと複雑なダッシュボードの作成をエンジニアリングチームに依頼する必要があり、リクエストによっては数日から数週間かかることもありました。しかし、熱心なPendoユーザーとして知識があったCanbaz氏は、トラックイベントが、エンジニアを重要な作業から引き離すことなく、必要なデータを取得するための「失われた環（ミッシングリンク）」を提供できることを認識していました。
Pendoを使用することのもう1つの利点は、データが民主化されることです。すべてのプロダクトマネージャーは、レポートを作成し、情報に基づいた意思決定を行うために必要なデータにアクセスできました。
Pendoアナリティクスは、ユーザー体験を向上させることができる2つの重要な領域として、ページパフォーマンスとエラー処理を発見しました。Canbaz氏は、それぞれの問題を深く掘り下げることで、戦略的なアップデートを行い、顧客体験を迅速に改善する方法を探りました。
トラックイベントを使用してパフォーマンス改善の機会を特定
最初の課題に対処するために、Canbaz氏のチームはプラットフォームの各ページにトラックイベントを設定し、次の3つのエリアに関するデータに注目しました。
- 現在のユーザーパス
- 以前のユーザーパス
- ページの合計読み込み時間
これらのデータポイントにより、Canbaz氏は最大の効果を上げるために何を優先すべきかを判断するために必要な情報を得ることができました。Pendoのページセクションを使用して詳細な指標を収集することで、最も遅いページを確認し、データエクスプローラを使用してその読み込み時間を表示しました。読み込み時間が5秒を超える上位10ページの更新を優先しました。
単一ページデータでエラーメッセージを深掘りする
プラットフォームのエラーに対処するために、Canbaz氏は再度トラックイベントを使用しました。トラックイベントの視点からエラーを確認することで、Canbaz氏のチームはユーザーがプラットフォーム内で何に苦労しているかを把握し、定量化できるようになりました。同氏はプラットフォーム内でエラーメッセージが発生するたびに、トラックイベントを起動するように設定しました。次の4つの項目を追跡しました。
- エラーの種類 — UIかAPIか
- エラーソース — ユーザーがどのようにエラーを体験するか
- 表示されたエラーメッセージ — ユーザーが理解できるものだったか
- 現在のパスと以前のパス — エラーが発生したとき、ユーザーがジャーニーのどこにいたか
First, Canbaz used a global errors report to find the pages with the most errors. Then, he dug deeper into each page to look for any patterns. By looking at data on a single-page level, Canbaz could determine if there were notable trends with the types of visitors or accounts receiving the error message. He also could look at the error message to determine if it was unclear or confusing.
プラットフォームで目にした例は、自動販売機での失敗と非常によく似ており、受け取ったエラーコードからは、実際の問題に関して何のコンテキストも得られませんでした。ユーザーが受け取ったエラーメッセージには、何が間違っているのか、どうすれば問題を解決できるのかが説明されていませんでした。最終的には、回避策を試みたり、アクションから完全に離脱したりすることになります。エラーメッセージの根本原因を理解するには、ユーザーとエラーが発生した時間枠に関する知識が必要でした。
レポートを活用して迅速なインサイトを生成し、パフォーマンスを向上
Canbaz氏は、すべてのデータを入手した上で、エンジニアリングチームが注力できるように適切なデータを渡す必要がありました。プラットフォームのパフォーマンスを向上させるために、具体的なページを特定するレポートを実行することで、エンジニアリングチームに明確な開始点を与えることができました。エンジニアが改善を実装したことで、最も遅いページの読み込み時間が短縮されました。プロダクトチームは引き続き読み込み時間を測定、監視することで、ページの速度を継続して向上させ、遅いページが新たに発生しないようにしました。
エラーメッセージを修正するために、プロダクトチームは2つのレポートを作成しました。1つは特定日に発生するエラーを見つけるためのもので、もう1つはそのエラーを特定の時間枠に絞り込むためのものです。このレベルまで具体的にすることで、エンジニアが問題に迅速に取り組むために必要な情報を提供することができました。
“Getting error occurrences narrowed down to a specific timeframe turned out to be the most helpful data that we could provide to engineers,” Canbaz said. “That data allows them to pinpoint that error within our own internal systems.”
プラットフォームの改善＝顧客満足度の向上
After initial implementation from engineering, the top ten slowest pages had their load times shortened by up to 80%. Customers started talking about how ‘snappy’ the platform felt. “For anyone that works on a B2B product, you know how challenging it can be to get unsolicited positive feedback about your products,” notes Canbaz.
Their error occurrences were drastically reduced, with Canbaz saying, “What used to be a lot of errors happening at once went to effectively zero.” He continues to roll out the error reporting process to more and more product managers within the organization to decrease errors within the DSP.
測定、修正、繰り返し：Pendoを使用してリスクを軽減
このプロセスは一度で完了するものではありませんでした。Canbaz氏はPendoのデータを使用して、パフォーマンスとエラーデータを継続的に追跡します。Pendoのデータを活用することで、プロダクトとエンジニアリング部門間のやり取りが減り、プロセスが合理化され、アクションまでの時間が短縮されます。
Canbaz氏はレポートが簡単に再現できるよう開発したため、どのプロダクトマネージャーも必要に応じてフィルターを調整するだけで探しているデータを見つけ、エンジニアリング用にパッケージ化できます。Pendoは、Canbaz氏とそのチームがデータを提供し、改善を実行し、成功を監視し続けるのを支援しています。
「Pendoを使用することで、問題の全体を素早く把握することができました」とCanbaz氏は説明します。「問題に対する修正を開発する際には、引き続きフレームワークに従い、必要に応じて調整しながら、継続的な進歩につなげています。これにより、私たちは継続してプラットフォームを信じられないほどユーザーフレンドリーにするための時間を確保できます。」
