プロダクトアナリティクスの価値を、どのように測定して示していますか？
This was the question that captured the attention of many at Pendomonium 2023, including Thomson Reuters’ VP of product analytics, Drew Harden. Nobody reached a solid conclusion, and that was the end of that. But later, Harden uncovered the answer to this problem at his own organization and returned in 2024 to share.
プロダクトアナリティクスの影響度を定量化
Thomson Reuters invests heavily in product analytics: They have 30+ analysts managing Pendo data from 150+ apps.
省力化された労働時間を数えるというような、従来のアナリティクスの影響度を測定する方法では、影響の一部を収集しているに過ぎません。そこでHarden氏はより包括的な方法を見つけました。それは、影響を与えたプロダクト決定の数を数えることです。
ステップ1：成功は影響を与えたプロダクト決定の数と定義する
Harden氏はプロダクトアナリティクスの「成功」を測定するために、全体的な価値やサポートされたプロジェクトの割合、節約された労働時間、さらには売上という観点から測定される生産性など、さまざまな方法を検討しました。
Spoiler alert: None of them were satisfactory. Delivering a measurable quantity of dollars, hours saved, or profitability was never their team’s objective. Because of this, they shifted their focus to a more tangible metric: The number of product decisions their team influenced.
Harden氏は、「決定に影響を与える」とはプロダクトチームに行動方針を提案することだと定義しました。つまり、単にデータを提供するだけでなく、実用的なインサイトを提供する方向に移行することです。そして2023年、Harden氏のチームは250件のプロダクト決定に影響を与えることを目標に掲げました。
ステップ2：影響を与えた決定数を追跡する
Harden氏は、決定に影響を与えることは、行動方針を提案することを意味すると考えました。プロダクトマネージャー（PM）のためにデータ（NPS批判者の回答など）を抽出するのではなく、チームはプロジェクトを支援し、次のような戦略的な質問に答えたいと考えていました。
- What steps should you take to improve your NPS score?
- 顧客リテンションを改善するにはどうすればよいか？
- 現在、解約リスクのある顧客は誰か？将来的にはどうか？
影響を与えたプロダクト決定の数を数えるために、プロジェクト管理システムのAzure DevOps（ADO）に項目を追加しました。
Next, they recommend a course of action to engage with PMs. This can get super nuanced, so they started by considering the behaviors they wanted to encourage. Some guidelines included:
- 何もしないという決断にも意味がある。
- 1つのプロジェクトが複数の意思決定に影響を与えることがある。
- ダッシュボードは時間の経過とともに多くの意思決定に影響を与えることがある。
- パートナーチームがチームの意思決定に従って行動しなくても構わない。
ステップ3：パートナーチームを関与させ、管理する
Thomson Reuters is a huge organization. The product analytics team cares about the value of their work—but how do they get everyone else to care?
彼らがこの問題を解決した方法の一つは、Pendoアプリケーションフォームを構築することでした。他のチームはこのフォームを多用しており、「NPS批判者からの苦情を見たい」という要望から、「近々開発に関する決定があり、上位10の機能を知っていればより良い決定ができる」という考え方に方向転換するのに役立ちました。
金銭は価値の最終的な指標ではありませんが、アプリケーション内にこのフィールドの余地が残されています。これにより、PMがどのようなプロジェクトをいつリリースするのか、またそれが全体的な目標や収益にどのように結びついているのかを理解できます。
Here’s the cool part: Everyone loved this. They shifted from being treated as mere Pendo administrators to internal business partners. Product teams can now put more thought into their development, and their product analysts can free up time usually spent on low-impact projects for higher-value ones. The caliber of their projects immediately went up.
ステップ4：結果を頻繁に示す
チームはすべての作業を完了しました。今こそ、トムソン・ロイターのより広範な組織に彼らの影響を示す時です。
チームの成果を示すために用いた主な方法は4つあります。
- Bite-sized feedback within Quarterly Business Reviews (QBRs). When they redesigned a tax product, they did a deep dive on a certain feature, revealed that it wasn’t getting used much, and recommended that they could sunset that feature.
- Email summaries to display how analytics can help PMs. I’d pick the top six to eight decisions, give some shout-outs to the unsung heroes, and highlight how they helped products understand if they could sunset this feature based on low usage data.
- Stakeholder meetings to review wins and brainstorms. They use this decision framework to talk to senior leaders, brainstorm solutions, and list off all the decisions that they supported their team with.
- Product analytics reports. They write up, in detail, and offer a searchable library that users can explore to understand what they’re doing in different product areas. Here’s a preview of our tempalte:
ステップ5：反復して進化する
Our approach to quantifying the value of analytics work exceeded expectations: In 2023, they influenced 341 decisions—136% higher than their initial goal. But the results of this didn’t just end there: Thomson Reuters’ UX research team also adopted this decision framework for their CXO program.
今後を見据え、彼らはプロダクトアナリティクスの影響を拡大するために2つの方法に重点的に取り組んでいます。利用予測とリテンションモデリングにAIを組み込むこと、そしてプロダクトチームとのパートナーシップをさらに深めることです。
Prefer to watch? Catch Thomson Reuters’ recorded Pendomonium session instead.
