AIエージェントとのインタラクションを分析

最終更新日: 2026年05月22日 07:08

エージェントアナリティクスは、プロダクト内で訪問者がAI搭載の会話型インターフェースとどのようにやり取りしているかを理解するのに役立ちます。一般的なユースケースを特定し、時間の経過に伴うトレンドを追跡し、訪問者が送信した実際の会話やプロンプトを調査できます。

この記事では、Pendoのアナリティクスビューをナビゲートし、エージェントの使用における共通のテーマを探り、プロンプトや会話を通じて取得されたデータを解釈する方法を紹介します。

前提条件

AIエージェント向けのエージェント分析を使用する方法：

サブスクリプションにエージェントアナリティクスが含まれている必要があります。エージェントアナリティクスの無料枠では毎月最大500件の訪問者送信プロンプトを分析できます。その上限に達すると、エージェントアナリティクスは、毎月1日の00:00 UTCにクォータがリセットされるまで、新しいプロンプトデータの収集を停止します。詳細については、［使用制限とプロンプトのクォータ］を参照してください。
AIエージェントの詳細なプロンプトと会話を表示するには、サブスクリプション管理者またはAIエージェント管理者の役割が割り当てられている必要があります。
会話レベルの指標や、会話の深さ、フィードバックチャート、提案されたプロンプトの使用、ツールの使用、モデル使用を含む完全なトランスクリプトに基づくチャートを表示するには、実装でConversations APIを使用して会話データを送信する必要があります。

分析ビューにアクセスする

訪問者がAIエージェントとどのようにやり取りしているかを調べるには：

［プロダクト］>［エージェントアナリティクス］に移動します。
エージェントリストから分析するエージェントを選択します。サブスクリプションに4つ以上のエージェントが含まれている場合は、［さらに表示］を選択して完全なリストを表示します。

「概要」タブがデフォルトで開きます。切り替えることができます：

［ユースケース］タブでは、類似性によってグループ化された新規トピックを探索し、追跡されたユースケースを監視することができます。詳細は「AIエージェントのユースケースを分析および追跡する」をご覧ください。
［問題］タブを使用して、類似性でグループ化された新規の問題を確認し、追跡された問題を監視します。プロンプトのみを表示するエージェントを分析する場合、このタブにはサンプルデータが含まれています。詳細については、「AIエージェントの問題の特定」を参照してください。
［会話］キャプチャが有効になっている場合、［会話］タブでインタラクションの全スレッドを確認できます。プロンプトのみを表示するエージェントを分析する場合、このタブにはサンプルデータが含まれています。詳細はこの記事の「全会話を表示する」をご覧ください。
［効果測定］タブでは、エージェントのバージョンを並べて比較し、モデル、ツール、構成の変更が主要なメトリクスにどのように影響するかを測定します。詳細については、「効果測定でAIエージェントのバージョンを比較する」を参照してください。

各タブでは、次のことができます。

日付範囲、セグメント、アカウント、ユーザーの反応、アップロードされたファイル、使用された推奨プロンプトのフィルターを使用して、クエリを絞り込みます。
現在のビューを後で再確認するには、［レポートとして保存］を選択してください。
［アクション］>［完全なユーザーフローを分析］を選択して、エージェントに関連するパスとファネルを調査します。

［概要］タブは複数の折りたたみ可能なセクションに分かれています。ご利用のサブスクリプションに月間プロンプト送信数制限がある場合、訪問者から送信されたプロンプトに基づく指標には、その制限に達する前に収集されたデータのみが含まれます。詳細については、「使用制限とプロンプトの割り当て」を参照してください。

利用率を測定する

［利用率］セクションには、選択したフィルターに基づいた指標が表示され、前期間と比較した傾向指標も表示されます。

会話。訪問者とエージェント間のスレッド会話の総数を示しています。完全な会話を収集するエージェントのみが利用可能です。
プロンプト。訪問者によって提出されたプロンプトの総数。
会話の深さ。各会話における訪問者から送信されたプロンプトの平均数。これは、プロンプトの合計数を会話の合計数で割ることによって算出されます。この指標は、会話の長さややり取りの労力を把握するのに役立ちます。完全な会話をキャプチャするエージェントのみで利用できます。
リテンション：選択した日付範囲内で少なくとも2週間にプロンプトを提出した訪問者の割合です。
一意の訪問者。プロンプトを提出した訪問者の総数。
一意のアカウント。訪問者がプロンプトを提出した時点で関連付けられているアカウントの数。

任意の指標を選択するか、その指標の下の［トレンドを表示］を選択すると、時間とともにどのように変化するかを示すトレンドチャートが開きます。次に、グラフ内のデータポイントにカーソルを合わせると詳細が表示され、グラフの右上隅にあるドロップダウンメニューを使用して期間を調整できます。

AIの品質を測定する

［AIの品質］セクションには、選択したフィルターに基づく指標と、前期間と比較したトレンド指標が表示されます。任意の指標を選択するか、指標の下の［トレンドを表示］を選択すると、時間経過による変化を示すトレンドチャートを開けます。これらは、全会話を記録するように設定されたエージェントでのみ利用可能です。

問題率。少なくとも1つの問題が検出された会話の割合。問題のある会話の数を会話の総数で割って算出します。
レイジプロンプト率。冒とく的な言葉、同じタスクを繰り返し実行しようとする試み、すべて大文字で入力されたテキストなど、強いフラストレーションの兆候を示すプロンプトが少なくとも 1 つ含まれる会話の割合を示しています。
サポートされていないリクエスト率。訪問者のリクエストを満たせなかった会話の割合。
エラー率。エラーが発生した会話の割合。

ユーザーセンチメントの測定

ユーザー感情セクションには、AIエージェントの応答に対する訪問者の反応をまとめたフィードバックチャートが含まれています。ポジティブフィードバックとネガティブフィードバックの合計、リアクション応答率（すべてのエージェント応答と比較したエージェント応答の割合）、およびポジティブフィードバックとネガティブフィードバックのある会話の平均深度が表示されます。

チャートのプラスまたはマイナスのセグメントを選択すると、関連する会話、訪問者、アカウントのリストが表示されます。

このグラフはConversations APIを通じてフィードバックデータを送信するように設定されているエージェントのみが利用可能です。

プロンプトの動作を分析する

［プロンプトの動作］セクションには、提案されたプロンプトの使用頻度をまとめたチャートが含まれています。

提案プロンプト使用チャート。提案されたプロンプトを含む会話の割合を、ユーザーが完全に作成した会話と比較して表示します。データポイントにカーソルを合わせると詳細を見ることができます。
トップ提案プロンプトチャート。会話で最も頻繁に使用される提案プロンプトを一覧表示します。各プロンプトの使用回数と、提案プロンプト全体の使用率も併せて示します。チャートからプロンプトを選択すると、関連する会話、訪問者、およびアカウントが表示されます。

これらのグラフはConversations APIを通じて推奨プロンプトデータを送信するように設定されているエージェントのみが利用可能です。

モデルとツールを分析する

［モデルとツール］セクションには、AIエージェントが最も依存するモデルとツールを理解するための以下のチャートが含まれています。

モデルの使用チャート。選択した期間内にエージェントの応答を生成するために使用されたAIモデルの分布を表示します。データポイントにカーソルを合わせると詳細を見ることができます。
使用ツールチャート。会話中に呼び出されたすべてのツールを、各ツールの呼び出し回数やツールの総使用率を含めて表示します。チャートからツールを選択すると、関連する会話、訪問者、アカウントのリストが表示されます。

これらのチャートは、Conversations APIを介してモデルとツールの呼び出しデータを送信するように設定されているエージェントのみが使用できます。

トップユーザーを分析する

［トップユーザー］セクションには、エージェントに提出されたプロンプト数に基づいて上位10の訪問者とアカウントの別個のテーブルが表示されます。

各テーブルには次のものが含まれます。

訪問者名またはアカウント名（メタデータが利用できない場合はIDが表示されます）。
送信されたプロンプトの数。
各セクションの右上隅にあるすべての訪問者またはアカウントを表示するオプション。

訪問者のプロンプトを表示する

AIエージェント管理者ロール（またはサブスクリプション管理者）が割り当てられている場合、レポート下部のプロンプトテーブルで訪問者が送信したプロンプトを表示できます。

デフォルトでは、テーブルには最新の 1,000 件のプロンプトが表示されます。古いデータを表示するには、［すべてのプロンプトを表示］を切り替えてください。すべてのプロンプトを読み込むと時間がかかり、テーブルのパフォーマンスに影響する可能性があります。

表には次の詳細が含まれます。

プロンプトを送信した訪問者の名前またはメールアドレス（メタデータが利用できない場合は訪問者IDが表示されます）。
訪問者が入力したプロンプトテキストで、サブスクリプションにセッションリプレイを追加していれば、関連するリプレイを視聴するオプションがあります。
送信時に訪問者に関連付けられたアカウント名。
プロンプトに入力された日付。
レイジプロンプト。プロンプトに強いフラストレーションの兆候があるかどうかを示します。
レポートで現在プロンプトに関連付けられているユースケース。

テーブルの上部にある検索バーを使用して、キーワードでプロンプトをフィルタリングできます。データをエクスポートするには、ダウンロードアイコンを選択し、すべてのテーブル内容をCSVファイルとしてデバイスに保存します。

ヒント管理者は、組織設定ですべてのサブスクリプションの訪問者プロンプトの合計数を表示できます。詳細は「組織設定のAIプロンプトを追跡する」をご覧ください。

会話全体を表示する

エージェントが会話全体を取得するように設定されており、かつAI Agent Adminロール（またはサブスクリプション管理者）が割り当てられている場合、［会話（Conversations）］タブにアクセスできます。

このタブには次のものが含まれます。

フィルター。日付範囲、セグメント、アカウントのフィルター。ユーザーの反応、アップロードしたファイル、使用された提案プロンプトのフィルターも追加できます。［更新］を選択して変更を適用します。
会話テーブル。個別の会話スレッドの表を開き、訪問者とエージェント間のやり取りを全て確認できます。特定の列を表示または非表示にするには、表の右上隅にある列アイコンを選択します。列には以下が含まれます。
- 最初の関連プロンプト。会話に関連付けられた最初の訪問者プロンプト。
- 訪問者。会話を始めた訪問者。
- インタラクションの数。会話内で交換されたプロンプトとエージェントの応答の総数。
- フィードバック：会話中に提出されたフィードバックは、肯定的、否定的、または混合的に表示されます。
- 開始日付会話が始まった日時。
- レイジプロンプト。会話内で、卑猥な言葉、同じタスクを繰り返し実行しようとする、すべて大文字で入力されたテキストなど、強いフラストレーションの兆候を示すプロンプトの数。
- ファイルがアップロードされました。会話中に1つまたは複数のファイルがアップロードされたかどうかを示します。
- 提案されたプロンプト。訪問者が手動で入力したのではなく、提案されたプロンプトが会話に含まれているかどうかを示します。
- 使用したツール。会話中にエージェントが応答する際に行ったツールコールの総数。
- 使用されたモデル。会話内の応答を生成するために使用されるAIモデルの数。

任意の行を選択して会話パネルを開きます。このパネルには次のものが含まれます。

訪問者。会話に関連する訪問者の名前またはメールアドレス（利用可能な場合）、または訪問者の固有の識別子（訪問者ID）。
プロンプト開始時刻のタイムスタンプ。会話の最初のプロンプトが提出された日時です。
Pendoリプレイアクセス。サブスクリプションにPendoリプレイを追加している場合、 リプレイを視聴するオプションがあります。Pendoリプレイを表示する際、エージェントのやり取りはPendoリプレイタイムライン上に注釈で示されます。
訪問者プロンプト。訪問者が提出した各プロンプトは、タイムスタンプとともに表示されます。
エージェントの応答。エージェントによって生成された応答は、秒単位で応答時間と共に表示されます。
会話の指標。視覚的指標が以下を示すかどうか:
- 提案されたプロンプトが使用されました。
- 肯定的または否定的なフィードバックが送信されました。
- ファイルがアップロードされました。
- プロンプトが怒りのプロンプトとしてフラグが立てられました。
レスポンスメタデータ。どのツールが呼び出され、どのAIモデルが応答を生成するために使用されたかを確認するためのボタン。
会話のリンク。会話内の特定のメッセージへのリンクをコピーして他のユーザーと共有するオプションです。共有リンクは、適切な権限（サブスクリプション管理者またはAIエージェント管理者ロールが割り当てられている）を持つユーザーに対して、選択したメッセージを直接開きます。

注：フィードバック、ファイルのアップロード、提案されたプロンプト、使用されたツール、モデル情報などの会話の詳細は、実装がConversations APIを使用してこれらのデータを送信する場合にのみ利用可能です。設定時にこれらのオプションフィールドが含まれていなかった場合、会話ビューにはその詳細が表示されません。これらのオプションフィールドを含める方法については、Conversations APIを使用して完全な会話を収集するをご覧ください。

レポートを保存して共有する

プロンプトや会話をユースケースにグループ化する質問をする際は、フィルターとクエリを保持するために、結果をレポートとして保存し、後でデータを再確認することをお勧めします。

新しいデータが入ってくると、ユースケースは時間とともに変化することがあります。

［概要］または［会話］タブから［レポートとして保存］を選択します。
自動入力されたレポートの名前と説明に必要な変更を加えます。
他のユーザーにこのレポートにアクセスして編集してもらいたい場合は、［公開範囲］で全員を選択します。
［レポートを保存］を選択します。

レポートは［プロダクト > エージェントアナリティクス］ の［レポート］リストに表示され、サブスクリプション内の他のユーザーと共有できます。

注：ユースケースは、選択した日付範囲内で少なくとも25件の訪問者が送信したプロンプトを持つタグ付けされたエージェントに対してのみ利用可能です。フィルターに10,000件を超えるプロンプトまたは会話が含まれている場合、Pendoはパフォーマンス上の理由でデータを自動的にサンプリングします。このような場合、プロンプトまたは会話の列ヘッダーの横にツールチップが表示され、結果がサンプルに基づいていることを知らせます。

パスでAIエージェントのプロンプトを使用する

パスレポートでAIプロンプトイベントを活用し、アプリ内の訪問者による生成AIに関わる前後の行動を分析できます。

はじめに：

ページの右上隅で、 ［アクション］>［完全なユーザーフローを分析］>［パス］を選択します。
その経路はデフォルトでAIエージェント に至る イベントを分析します。AIエージェントと対話した後の訪問者の行動を理解したい場合は、パスを表示ドロップダウンを始点からに更新してください。
必要に応じてフィルタークエリを調整してください。パスレポートの作成と解釈に関する詳細については、「パス」をご覧ください。

ファネルでAIエージェントのプロンプトを使用する

ファネルレポートでAIエージェントを使用して、生成AIとのやり取りがユーザーの流れやコンバージョンにどのように影響するかを分析できます。

はじめに：

ページの右上隅で、［アクション］>［完全なユーザーフローを分析］>［ファネル］ を選択します。
任意のステップでイベントタイプとしてAIエージェントを選び、エージェントを選択してください。
レポートの入力を続け、必要に応じて各フィルタークエリを調整してください。ファネルレポートの作成および解釈に関する詳細は、ファネルをご覧ください。

AIエージェントの粘着率を測定

粘着性指標ウィジェットでAIエージェントのイベントを使用することで、訪問者がAIエージェントとどのくらいの頻度で対話するために戻ってくるかを分析できます。粘着性は、日次、週次、月次の時間枠で訪問者やアカウントのアクティビティ頻度を測定し、AIエージェントが繰り返しのエンゲージメントを促進しているかどうかを理解するのに役立ちます。

開始するには、ダッシュボードを開き、粘着性指標ウィジェットを追加し、測定したいイベントとしてAIエージェントを選択します。

ヒント：イベントリストをAIエージェントイベントのみに絞り込むことで、粘着性ウィジェットを設定する際にエージェントを簡単に見つけて選択できます。

粘着性の設定と解釈の詳細については、粘着性を測定するをご覧ください。

ダッシュボードにAIエージェントレポートを追加する

AIエージェントレポートを保存した後、対応するダッシュボードウィジェットを既存のダッシュボードに追加できます。これにより、エージェントデータをパスやファネルなどの他のレポートと一緒に追跡できます。

ダッシュボードにエージェントアナリティクスを追加するには：

任意のダッシュボードから ［ダッシュボードに追加」>［ウィジェット］ を選択し、カタログからAIエージェント ウィジェットを選択します。既存のダッシュボードを選択し、レポートの主要な指標、ユースケース、プロンプトセクションのデータを含む3つの新しいウィジェットを追加します。
既存のAIエージェントレポートのサポートされているセクション内でダッシュボードを追加するオプションを選択し、ウィジェットを追加したいダッシュボードを選択します。

各ウィジェットには、元のAIエージェントレポートから保存されたフィルターと日付範囲が反映されます。ダッシュボードレベルのフィルターは、現在これらのウィジェットではサポートされていません。