Staying a step ahead of the search box

Pendoは、ガイドの追跡、実験、さらには認知度向上に関するユーザーの問題点を解決してくれます。また、私たちはユーザーストーリーを作成するたびにアナリティクスを組み込んでいるため、Pendoを通じて常に指標を追跡することができます。
Thomson Reuters　プロダクトマネージャー　Vinay Shukla氏

クエリの見直しから始める検索改善のヒント

検索ベースのプラットフォームの世界では、常に適切なタイミングで適切な情報をユーザーに届けることが重要でした。また、機械学習（ML）や人工知能（AI）などのテクノロジーの台頭により、ユーザーに関連性の高いコンテンツを提供することが、企業にとってこれまで以上に最優先事項となり、差別化を図る上でも効果的になっています。しかし、プロダクトリーダーがこのようなユースケースでML/AIの有効性を正確に測定し、最終的に改善するにはどうすればよいのでしょうか。

Thomson Reutersのプラットフォーム全体が検索機能の力に基づいて開発されています。同社のCheckpoint Edge製品は、税務と会計の専門家が調査を行い、必要な情報を迅速かつ効率的に見つけることを可能にします。Thomson Reutersの元プロダクトオーナーであるVinay Shukla氏は、「検索プラットフォームとして、ユーザーが用語を入力する検索ボックスがあります」と説明します。「また、ユーザーが［検索］用語を入力し始めるとドロップダウンする『自動候補ボックス』と呼ばれる機能もあります。ユーザーの入力に基づいて推奨される検索を提案し始めるAI機能を開発しました。」

Shukla氏とチームは、この自動提案機能がどの程度うまく機能しているかを測定する方法を必要としていました。また、ユーザーが製品の検索機能にどのように関与しているかという行動的側面と心理的側面にも焦点を当てたいと考えていました。「私たちは、ユーザーが入力停止、キー入力を止めたり、私たちが提案したクエリをユーザーが修正する際の状況を理解したかったのです」と同氏は説明します。「このような情報は、明示的データと暗黙的データを大量に必要とするAI/ML機能を将来維持する上で非常に役立ちます。」

クエリをクエリ

Shukla氏と彼のチームは、ユーザーの検索プロセスにおける3つの異なる重要な基準に注目し、Pendoのトラックイベントを活用してそれらを収集しました。その基準とは、（1）ユーザーがデータ入力を中止した際の最初の入力内容（2）自動提案ドロップダウンクエリから何かを選択したかどうか（3）ユーザーの最終的な検索内容です。「この3つの情報を用いることで、ユーザーがクエリを変更しているか、そしてクエリに何を入力しているかを分析する広大な世界が開かれつつあります」とShukla氏は語ります。

彼は、この3つの追跡アプローチにより、チームがユーザーの行動をより深く掘り下げ、最終的に機械学習/AIアルゴリズムのパフォーマンスを向上させることができると述べています。「ユーザーはタイピングをやめたか、自分たちの質問がすでに検索可能な状態にあることに気づいたかなど、トラックイベントを使えば、自動提案機能がどの程度うまく機能しているかを可視化できるだけでなく、AIによる提案を表示するためにどれくらいの情報が必要かを把握することもできます」とShukla氏は語ります。 

Shukla氏は、Pendo内でのイベントの追跡は従来の手法から大きく進化したと述べています。以前の方法では、ユーザーの検索が実際に実行される瞬間については追跡できていませんでした。「Pendoを使うことは素晴らしいです。技術者ではない人でも、Pendoのダッシュボードからデータを取得し、ピボットを作成できるのですから。データサイエンティスト以外の人でも、本当に迅速に分析ができるようになりました」と彼は話します。 

これらのイベントを追跡し、ユーザーエンゲージメントを理解できることは、Thomson Reuterの編集チームにとっても非常に有益でした。「社内にはプラットフォーム用のコンテンツを作成する編集者がいます」とShukla氏は説明します。「ユーザーがどのような種類のクエリを入力しているかを分析し、確認する力が大幅に強化されました。実際にそれらのクエリの一部のキュレーションを支援していた場合は、ユーザーが他にどのような代替検索を行っているかについてのフィードバックも確認できるようになりました。この特定のトラックイベントを通じて、多くの力を得ることができました。」

Shukla and his team now leverage these tracked events to measure success in—and improve the functionality of—the Checkpoint Edge product. “If a user selects content from the dropdown, then that feature is a success,” he explained. “It has created a lot of opportunities for us to analyze the types of queries our users are actually inputting versus what they might have seen in the dropdown. It’s a chance for us to figure out if we need to enhance the feature or take things back to the drawing board if queries are serving up irrelevant information.” 

Shukla氏のチームは、ユーザーフィードバックとアナリティクスを関連付けることで、自動提案機能の成功を測定する方法に、より深いコンテキストも追加することもできました。特定の追跡イベントを完了したユーザーのセグメントを作成し、そのユーザーのネットプロモータースコア（NPS）レポートを生成して、追跡イベントに関与していないセグメントと比較することで、この機能がユーザーのセンチメントに与える影響をより深く理解できます。「この機能を使ってNPSの観点からユーザーの反応の傾向を把握することは、私たちにとって本当に重要でした」とShukla氏は説明しました。

最後に、Shukla氏は、Pendoからのデータ抽出が非常に簡単なことが大きな成果であると述べました。「最大のメリットは、作業に携わる人々の目の前に生のデータを提示できることです」と彼は話します。「データを取得して、現在市場で注目されているクエリでフィルタリングするのは、それほど労力も学習の必要もありません。特に、ユーザーが何を検索しているのかを知る場合はなおさらです。」

プロのヒント

• Treat track events like a piece of formal development—with proper planning and grooming, just like you would any other feature in your backlog
• 早い段階でアーキテクトを関与させることで、他のイベントやメタデータがユーザー体験の全体像を把握するのに役立つかどうかを事前に検討できるようにしましょう
• 可能な限り、アナリティクスをNPSデータに結び付け、特定の機能がユーザーのセンチメントに与える直接的な影響をより深く理解しましょう