プロダクトエンゲージメントスコア向上への歩み

これまで非常に長い間、プロダクトチームはプロダクトの健全性を理解するための適切な指標をめぐって頭を悩ませてきました。指標の選択肢が多すぎるだけでなく、ページの閲覧数やダウンロードなどの多くのプロダクト指標は行動につながるものではありません。そこで、Pendoはプロダクトエンゲージメントスコア（PES）を作成しました。プロダクトリーダーにプロダクトのパフォーマンスを説明する単一の実用的な指標です。具体的には、生成や理解、改善するのが容易な指標です。

このビジョンを念頭に、私たちはPESを、ユーザーエンゲージメントに直接結びつく3つの個別指標である「定着化」「粘着性」「成長」からなる複合スコアとして設計しました。2021年1月のリリース以来、当初のビジョンと設計の過程で収集した貴重な顧客フィードバックに基づき、さまざまな機能を追加してきました。アカウントフィルター、過去のトレンドPESウィジェット 、そしてとりわけPESドリルダウンなどです。

しかし、PESは顧客から高い関心を集めており導入する顧客も多い一方、スコア自体の計算方法を評価し直さなければならないような懸念事項も寄せられていました。プロダクトマネージャーとしては、好奇心をそそられました。好奇心がさらなる調査に結びつき、次の3つの重要なインサイトが得られました。

1. 1. PESは常に正確なプロダクトエンゲージメントを表すとは限らない
   2. PESは常に理解しやすいわけではない
   3. PESは非常に不安定なことが多く、改善が難しい

そう、当初の私たちは間違っていたのです。言い方を変えます。私たちは新しく価値のあるものを提供し、お客様の声に耳を傾けました。そして今は、改良するための取り組みを行っているところです。

何を変更する必要があるのかを理解する

何かがおかしいと最初に感じたのは、PESの定着化スコアをうまく理解して実用的に活用できずに苦労しているユーザーから寄せられたフィードバックがきっかけでした。「任意」または「すべて」という2つの設定オプションは、コアイベントの使用方法として広範すぎる、あるいは特定しすぎるという報告があったのです。たとえば、話を聞いた顧客の中で、ユーザーベース全体が定義されたすべてのコアイベントを使用することを当然期待できるという顧客はほとんどいませんでした。さらに、コアイベントの使用状況で定着化の全体像は捉えられても、特に役立つものではありませんでした。

次のヒントは、実際のプロダクトエンゲージメントに基づいてアカウントの健全性をより深く把握するために、アカウントレベルのPESを確認したいと考えている、特にカスタマーサクセスのユーザーから得られました。このユースケースは、PESを解約とリテンションの予測因子として使用する方法をデータサイエンスチームと協力して理解した後で、さらにはっきりしました。このシナリオでは、元の定着率の計算では設定オプションが限られているため、バイナリのスコアが0または100と示されることがよくありました。これも、定着率が特に正確に示されているわけではありません。

パズルの最後のピースは、「成長」に関する大量のフィードバックでした。「スコアは非常に変動しやすい」、「成長は日々大幅に変化する」といった多くの人から寄せられるものや、予測年間成長率の計算をなぜ使用するのかといった困惑を示すフィードバックなど、成長スコアはたいした価値をもたらしませんでした。データと計算がどのように連携しているかを掘り下げていくうちに、ユーザーベースを維持するだけでは、成長率は計算上は改善しないということが分かりました。ですがプロダクトマネージャーなら誰でも考えるように、ユーザーリテンションは重要であり、その成果は測られるべきです。

PESで変わらないことは何か

PESの熱心な読者やユーザーの皆さんは、私がまだ言っていないことがあることにお気づきでしょう。粘着性です。上記の問題をどのように解決したかを説明する前に、変わらない点とその理由について簡単に説明したいと思います。リリースから数か月が経ちますが、PESのユーザーが粘着性について話していることを聞くことはほとんどありませんでした。長年追跡されてきた業界標準の計算に基づいているため、プロダクトチームは普通に「分かっている」のでしょう。皆さんと一緒に考えたいと思っているので、もしこの認識が間違っていたら是非お聞かせください。

より良いPESに向けて

問題空間を深く理解した私たちは、解決策を考えるという楽しい作業に着手しました。エンジニアリングチームとデータサイエンスチームと協力して、問題になっている2つの柱である「定着化」と「成長」と同じ観点に迫ることができる他の計算方法があるかどうか、ブレインストーミングを行いました。業界のベストプラクティスを調査し、Pendoにあるデータを基に、ユーザーにとって最も役立つことは何かを一緒に掘り下げました。

定着化：より実用的なものにする

新しい定着率の公式を模索する最初のブレインストーミングの際に、私たちは定着率の主要な定義である、「主要な機能の使用状況」の測定に立ち戻りました。この原則に基づいて、定着率を「任意/すべてのコアイベントを使用するアクティブな訪問者/アカウントの割合」から単純平均である「すべてのアクティブな訪問者/アカウントが定着したコアイベントの平均数」に変更することにしました。 

割合から平均値への変更の他に、［任意/すべて］の設定オプションを削除して、複雑な場所をなくし、アカウントレベルのPESデータを必要とするユースケースにより適したものにすることにしました。これら2つの変更を組み合わせると、平均的な機能の使用状況を適切に表すことができます。

以前の定着率の計算：

新しい定着率の計算：

新しい公式ができたら、約10%のお客様の新しい定着化スコアを計算し、変更が全体のスコアにどのような影響を与えるかを確認します。この方法では、ほとんどの定着化スコアが低下しましたが、心配はいりません。主要な機能の平均的な定着化の状況を確認して掘り下げることができるため、以前の計算と同じかそれ以上の価値があると言えます。新しい定着率の計算では、重要な機能の使用状況に影響を与える、たとえば次のような有意義な質問ができます。

• • コアプロダクトはどれくらい使用されているのか？また定着しているのか？
  • どのコアイベントに注意が必要か？ 
  • 平均の定着率は、時間の経過とともに向上しているか、それとも低下しているか？低下している場合、平均を引き下げているコアイベントの定着率を促進するにはどうすればよいか？

成長：より安定させる

より良い成長率の計算方法を模索する上で、主要な指針の1つは、最終的により安定した指標をもたらす計算方法を選ぶということでした。私たちは、この新しい計算を、業界に広く浸透している別の指標である、Quick Ratioに基づいて行うことにしました。

現時点ではまだ業界標準というよりも新進気鋭の方法ですが、Quick Ratioはもともと企業の金融および会計の業界で使われています。テクノロジーの世界では、ベンチャーキャピタル企業が、会社の成長度合いを知るためにQuick Ratioをよく使用しています。Quick Ratioは、成長率、リテンション、解約率を組み合わせて、プロダクトがどれだけ効率的に成長しているかを1つの数値で示す簡単な方法です。一定期間に何人のユーザーがプロダクトを導入し、使い続け、離脱したかが分かるため、プロダクトの「鼓動」を測る方法と考えることができます。 

PESに使用するため、代表的なQuick Ratioの定義をプラットフォームに合わせて若干変更しました。新しい成長率の計算では、新規ユーザーの合計数に再訪ユーザーを加えたものを、離脱したユーザーの数で割った値が等しくなります。

以前の成長率の計算：

新しい成長率の計算：

式を作ったら、0から無限大までの比率をPESの計算全体に当てはめる方法を検討しなければなりませんでした。素晴らしいデータサイエンスチームの助けを借りて、私たちはQuick Ratioの値を取得し、単純な倍率を使用して0から100までのPESトライアングル内に収まるようにする方法を考え出しました。最後に、新しい成長スコアが以前より安定していることも確認できました。実際、訪問者に成長率を設定した場合、変動性は大幅に改善して54%になり、アカウントに設定した場合、変動性の改善は15%でした。

プロダクトチームを導くためのより良いPES

簡単に言えば、改善された新しいプロダクトエンゲージメントスコアは、プロダクトのパフォーマンスをより適切に表しています。理解しやすく安定性もあり、改善も簡単です。 

新しい計算は、現在と過去のデータに適用されるので、PESを経時的に追跡できます。PESのドリルダウン、トレンドPESグラフ、フィルターなど、お気に入りのPES機能を使用して、改善されたPESを活用できます。準備ができたところで、新しくなったプロダクトエンゲージメントスコアを、今すぐご確認ください。