プロダクトアナリティクスの価値を、どのように測定して示していますか？
This was the question that captured the attention of many at Pendomonium 2023, including Thomson Reuters’ VP of product analytics, Drew Harden. Nobody reached a solid conclusion, and that was the end of that. But later, Harden uncovered the answer to this problem at his own organization and returned in 2024 to share.
プロダクトアナリティクスの影響度を定量化
トムソン・ロイターは、プロダクトアナリティクスに多額の投資を行っており、150以上のアプリからのPendoデータを管理するアナリストが30人以上います。
省力化された労働時間を数えるというような、従来のアナリティクスの影響度を測定する方法では、影響の一部を収集しているに過ぎません。そこでHarden氏はより包括的な方法を見つけました。それは、影響を与えたプロダクト決定の数を数えることです。
ステップ1：成功は影響を与えたプロダクト決定の数と定義する
Harden氏はプロダクトアナリティクスの「成功」を測定するために、全体的な価値やサポートされたプロジェクトの割合、節約された労働時間、さらには売上という観点から測定される生産性など、さまざまな方法を検討しました。
ネタバレ注意：どれも納得のいくものではありませんでした。金額、節約した時間、または収益性といった測定可能な量を提供することがチームの目的ではありませんでした。このため、チームはより具体的な指標、つまりチームが影響を与えたプロダクト決定の数に焦点を移しました。
Harden氏は、「決定に影響を与える」とはプロダクトチームに行動方針を提案することだと定義しました。つまり、単にデータを提供するだけでなく、実用的なインサイトを提供する方向に移行することです。そして2023年、Harden氏のチームは250件のプロダクト決定に影響を与えることを目標に掲げました。
ステップ2：影響を与えた決定数を追跡する
Harden氏は、決定に影響を与えることは、行動方針を提案することを意味すると考えました。プロダクトマネージャー（PM）のためにデータ（NPS批判者の回答など）を抽出するのではなく、チームはプロジェクトを支援し、次のような戦略的な質問に答えたいと考えていました。
- NPSスコアを向上させるためにどのような手順を取るべきか？
- 顧客リテンションを改善するにはどうすればよいか？
- 現在、解約リスクのある顧客は誰か？将来的にはどうか？
影響を与えたプロダクト決定の数を数えるために、プロジェクト管理システムのAzure DevOps（ADO）に項目を追加しました。
次に、PMと関わるための行動方針を提案します。これは非常に微妙なニュアンスになる可能性があるため、まず奨励したい行動を考察することから始めました。いくつかのガイドラインには次のようなことが含まれています。
- 何もしないという決断にも意味がある。
- 1つのプロジェクトが複数の意思決定に影響を与えることがある。
- ダッシュボードは時間の経過とともに多くの意思決定に影響を与えることがある。
- パートナーチームがチームの意思決定に従って行動しなくても構わない。
ステップ3：パートナーチームを関与させ、管理する
トムソン・ロイターは巨大な組織です。プロダクトアナリティクスチームは自分たちの仕事の価値を重視していますが、どうすれば他の人々に関心を持ってもらえるのでしょうか？
彼らがこの問題を解決した方法の一つは、Pendoアプリケーションフォームを構築することでした。他のチームはこのフォームを多用しており、「NPS批判者からの苦情を見たい」という要望から、「近々開発に関する決定があり、上位10の機能を知っていればより良い決定ができる」という考え方に方向転換するのに役立ちました。
金銭は価値の最終的な指標ではありませんが、アプリケーション内にこのフィールドの余地が残されています。これにより、PMがどのようなプロジェクトをいつリリースするのか、またそれが全体的な目標や収益にどのように結びついているのかを理解できます。
ここが素晴らしい点です。誰もがこれを気に入りました。彼らは単なるPendoの管理者から、社内のビジネスパートナーとして扱われるようになったのです。プロダクトチームは開発に関してもっと多くのアイデアを取り入れることができるようになり、プロダクトアナリストは、通常では影響度の低いプロジェクトに費やしていた時間を、価値の高いプロジェクトに充てることができるようになりました。こうしてプロジェクトの質はすぐに向上しました。
ステップ4：結果を頻繁に示す
チームはすべての作業を完了しました。今こそ、トムソン・ロイターのより広範な組織に彼らの影響を示す時です。
チームの成果を示すために用いた主な方法は4つあります。
- 四半期ビジネスレビュー（QBR）における簡潔なフィードバック。税務プロダクトを再設計した際、特定の機能を詳細に調査し、その機能があまり使用されていないことを明らかにし、その機能を廃止することを提案しました。
- 分析がどのようにPMの役に立つかを示す要約メールを送信。上位6～8位の決定事項を取り上げ、隠れた立役者に感謝の意を表し、使用率の低いデータに基づいてこの機能を廃止できるかどうかをプロダクトチームが理解するのに役立った経緯を明らかにします。
- 関係者会議で成果を振り返り、ブレインストーミング。この意思決定フレームワークを用いて、上級リーダーと対話し、解決策のアイデアを出し、チームを支援したすべての決定事項を列挙します。
- プロダクトアナリティクスレポート。詳細に及ぶレポートを作成し、検索可能なライブラリを提供して、さまざまなプロダクトエリアでの活動をユーザーが検索して理解できるようにしました。こちらがテンプレートのプレビューです。
ステップ5：反復して進化する
アナリティクス作業の価値を定量化する我々のアプローチは期待を越え、2023年には341件の意思決定に影響を与えました。これは当初の目標を136%上回る結果です。しかし、この結果はそれだけにとどまりませんでした。トムソン・ロイターのUX研究チームも、この意思決定フレームワークをCXOプログラムに採用しました。
今後を見据え、彼らはプロダクトアナリティクスの影響を拡大するために2つの方法に重点的に取り組んでいます。利用予測とリテンションモデリングにAIを組み込むこと、そしてプロダクトチームとのパートナーシップをさらに深めることです。
この内容を視聴するには、トンプソン・ロイターによるPendomoniumセッションの録画をご覧ください。
