Thomson Reuters is a multinational media conglomerate. Their Checkpoint Edge platform (from their tax and accounting solutions division) helps finance professionals streamline their research processes with help from artificial intelligence and machine learning technologies.
情報サービス
Thomson Reutersの税務会計部門が、Checkpoint Edgeプラットフォーム向けにAI（人工知能）とML（機械学習）を活用した新しい検索エンジンを構築した際、チームはこれがユーザーのサービス利用体験を大きく変えると確信していました。しかし、ツールの検索候補とその背景にあるコンテンツの関連性を継続的に改善するには、ユーザーがこの新機能をどのように使っているのかを把握する必要がありました。
同社は、Pendoのトラックイベントを活用して、ユーザーの検索体験における重要な3つの段階についてのインサイトを得て、その結果をユーザーのNPSスコアと関連付けました。これにより、機能のパフォーマンスとそれがユーザーのセンチメントにどのような影響を与えているかを完全に把握することができました。
Thomson Reutersのチームは、Pendoを使用することで、データサイエンスチームの枠を超えてこの機能の利用データを民主化し、技術者以外のステークホルダーがユーザージャーニーについて学ぶことを促し、編集者がユーザの検索意図をより理解できるようにし、最終的に製品のAI/ML機能と提供されるコンテンツの関連性を向上させました。
To us, Pendo’ing means solving user pain points around guidance tracking, experimentation, or awareness. We also build analytics into every single user story that we write—so there’s always a component of tracking metrics we build in through Pendo.
Vinay Shukla, Product manager, Thomson Reuters
検索ベースのプラットフォームの世界では、常に適切なタイミングで適切な情報をユーザーに届けることが重要でした。また、機械学習（ML）や人工知能（AI）などのテクノロジーの台頭により、ユーザーに関連性の高いコンテンツを提供することが、企業にとってこれまで以上に最優先事項となり、差別化を図る上でも効果的になっています。しかし、プロダクトリーダーがこのようなユースケースでML/AIの有効性を正確に測定し、最終的に改善するにはどうすればよいのでしょうか。
Thomson Reutersのプラットフォーム全体が検索機能の力に基づいて開発されています。同社のCheckpoint Edge製品は、税務と会計の専門家が調査を行い、必要な情報を迅速かつ効率的に見つけることを可能にします。Thomson Reutersの元プロダクトオーナーであるVinay Shukla氏は、「検索プラットフォームとして、ユーザーが用語を入力する検索ボックスがあります」と説明します。「また、ユーザーが［検索］用語を入力し始めるとドロップダウンする『自動候補ボックス』と呼ばれる機能もあります。ユーザーの入力に基づいて推奨される検索を提案し始めるAI機能を開発しました。」
Shukla氏とチームは、この自動提案機能がどの程度うまく機能しているかを測定する方法を必要としていました。また、ユーザーが製品の検索機能にどのように関与しているかという行動的側面と心理的側面にも焦点を当てたいと考えていました。「私たちは、ユーザーが入力停止、キー入力を止めたり、私たちが提案したクエリをユーザーが修正する際の状況を理解したかったのです」と同氏は説明します。「このような情報は、明示的データと暗黙的データを大量に必要とするAI/ML機能を将来維持する上で非常に役立ちます。」
Shukla and his team turned to track events in Pendo to capture three different key criteria in a user’s search process: (1) a user’s first inputs, upon which they stop entering data; (2) whether or not the user selected something from the auto suggest dropdown queries; and (3) the user’s final search. “With these three pieces of information, we’re starting to open up a huge world of analyzing whether a user is modifying their query—and what they put in their query,” Shukla explained.
彼は、この3つの追跡アプローチにより、チームがユーザーの行動をより深く掘り下げ、最終的に機械学習/AIアルゴリズムのパフォーマンスを向上させることができると述べています。「ユーザーはタイピングをやめたか、自分たちの質問がすでに検索可能な状態にあることに気づいたかなど、トラックイベントを使えば、自動提案機能がどの程度うまく機能しているかを可視化できるだけでなく、AIによる提案を表示するためにどれくらいの情報が必要かを把握することもできます」とShukla氏は語ります。
Shukla氏は、Pendo内でのイベントの追跡は従来の手法から大きく進化したと述べています。以前の方法では、ユーザーの検索が実際に実行される瞬間については追跡できていませんでした。「Pendoを使うことは素晴らしいです。技術者ではない人でも、Pendoのダッシュボードからデータを取得し、ピボットを作成できるのですから。データサイエンティスト以外の人でも、本当に迅速に分析ができるようになりました」と彼は話します。
これらのイベントを追跡し、ユーザーエンゲージメントを理解できることは、Thomson Reuterの編集チームにとっても非常に有益でした。「社内にはプラットフォーム用のコンテンツを作成する編集者がいます」とShukla氏は説明します。「ユーザーがどのような種類のクエリを入力しているかを分析し、確認する力が大幅に強化されました。実際にそれらのクエリの一部のキュレーションを支援していた場合は、ユーザーが他にどのような代替検索を行っているかについてのフィードバックも確認できるようになりました。この特定のトラックイベントを通じて、多くの力を得ることができました。」
Shukla and his team now leverage these tracked events to measure success in—and improve the functionality of—the Checkpoint Edge product. “If a user selects content from the dropdown, then that feature is a success,” he explained. “It has created a lot of opportunities for us to analyze the types of queries our users are actually inputting versus what they might have seen in the dropdown. It’s a chance for us to figure out if we need to enhance the feature or take things back to the drawing board if queries are serving up irrelevant information.”
Correlating user feedback with analytics has also added a deeper layer of context to how Shukla’s team measures the auto suggest feature’s success. By creating a segment of users who’ve completed a specific tracked event, then generating an Net Promoter Score (NPS) report of those users and comparing it to a segment that has not engaged with the tracked event, he is better able to understand the impact the feature has on user sentiment. “It was really important for us to see the trends of how people were reacting in terms of NPS with this feature,” Shukla explained.
最後に、Shukla氏は、Pendoからのデータ抽出が非常に簡単なことが大きな成果であると述べました。「最大のメリットは、作業に携わる人々の目の前に生のデータを提示できることです」と彼は話します。「データを取得して、現在市場で注目されているクエリでフィルタリングするのは、それほど労力も学習の必要もありません。特に、ユーザーが何を検索しているのかを知る場合はなおさらです。」
Pendoがどのように組織に価値を提供するかをご覧ください
