エージェントアナリティクスでは、チャットボットやバーチャルアシスタントなど、AIを搭載した会話型インターフェースを通じて訪問者がどのようにやり取りするかをプロダクトで把握できます。実際のプロンプトや会話が表示されるため、ユーザーがAIエージェントをどのくらいの頻度で使用しているか、何を要求しているか、そしてどこで問題が発生しているかを把握できます。また、PendoのAIアシスタントであるLeoを使えば、このデータに含まれるパターンやテーマを素早く探索することもできます。
この文脈では、AIエージェントは訪問者から自然言語による質問や指示を受け取り、生成された応答を返すプロダクト内の会話型UIです。訪問者がエージェントに送信するメッセージはプロンプトと呼ばれ、訪問者とエージェント間のやり取りは会話として扱われます。
エージェントアナリティクスを使用するタイミング
エージェントアナリティクスは、以下のような用途に役立ちます。
- 顧客がプロダクトでAIエージェントを実際にどのように使用しているかを理解する。
- エージェントが処理する一般的な意図、質問、またはワークフローを特定する。
- 会話における混乱、不満、または失敗を検知する。
- エージェントのプロンプト、行動、カバレッジの変化が時間とともに与える影響を測定する。
エージェントデータの取得方法
エージェントアナリティクスは、2つのデータ収集方法をサポートしています。どちらも相互作用時にデータを取得しますが、提供されるインサイトの深さには違いがあります。
Pendoは、ウェブアプリとモバイルアプリの両方で、会話内容を完全に記録する設定を自動的に行います。ブラウザ拡張機能アプリの場合、設定時にキャプチャ方式を選択します。
| プロンプトのみ | 全会話 | |
| 最適な用途 | 訪問者の意図を高レベルで理解する | 会話の質、エージェントの有効性、ユーザー体験を理解する |
| 取得される内容 | 訪問者が提出したプロンプトのみ | 訪問者からのプロンプトとエージェントの応答 |
| 利用可能なインサイト |
プロンプトの量と傾向 レイジプロンプト率 |
プロンプトのみに基づくインサイトに加え、以下の情報も含まれます。 自動問題検出 会話の深さ |
| レスポンスメタデータ | 利用不可 | 呼び出されたツール、使用されたモデル、トークン数（Conversations API を介して送信された場合） |
| セットアップ | 開発者のサポートは不要。ビジュアルデザインスタジオを使用して設定（ブラウザ拡張アプリのみ）。 | Conversations APIを使用した開発者による実装が必要です。 |
プロンプトのみの収集は、訪問者の質問を理解するのに役立ちますが、完全な会話の収集は、訪問者のプロンプトとエージェントの応答の両方に可視性をもたらします。やり取りの両側を捉えることで、問題、フラストレーションシグナル、会話の長さ、そしてエージェント全体のパフォーマンスを時間経過とともに分析することが可能になります。
AIエージェントの設定手順については、「PendoでAIエージェントを追加および設定する」を参照してください。
会話全体のキャプチャに関する実装の詳細については、「Conversations APIを使用して全会話をキャプチャする」を参照してください。
分析できること
エージェントアナリティクスのプロセスはデータを収集し、いくつかの種類のインサイトを提供します。
- ［概要］指標は、使用量、ユニーク訪問者とアカウント、リテンション、ユーザーの反応、問題発生率、レイジプロンプト率、未対応率、エラー率を経時的に追跡します。詳細については、 「AIエージェントとのインタラクションを分析する」を参照してください。
- プロンプトや会話における意味的な類似性に基づいて、ユースケースが自動的に提示されます。新規のパターンを追跡したり、時間をかけて監視すべき特定のトピックを定義したりできます。詳細については、「AIエージェントのユースケースを分析および追跡する」を参照してください。
- 問題は会話データから自動的に検出され、テーマごとにグループ化されます。また、特定の問題を手動で追跡し、時間の経過とともに監視することもできます。詳細については、「AIエージェントの問題を特定して追跡する」を参照してください。
- 会話には、訪問者の質問とエージェントの応答の両方がスレッド形式で表示されるため、完全なトランスクリプトを確認したり、変更を検証したり、トレーニングデータやドキュメントを改善するための例を見つけたりすることができます。詳細については、「全会話を表示する」をご覧ください。
- 効果測定を使用して、さまざまなエージェント構成、モデル、またはツールのパフォーマンスを比較し、変更の影響を測定できます。詳細については、「AIエージェントのバージョンを効果測定で比較する」を参照してください。
エージェントアナリティクスモジュール以外でも、エージェント分析データを探索できます。
- AIエージェントイベントをパス、ファネル、ダッシュボード、粘着性ウィジェットで使用することで、AIがプロダクトの他の部分にどのように適合するかを確認できます。
- 主要な指標と傾向があらかじめ設定されたビューを利用するには、AIエンゲージメントダッシュボードテンプレートから始めてください。
- PendoのAIアシスタントであるLeoに、ユースケース、課題、トレンドについて自然言語で質問してみましょう。
- スケジュールされたエージェント分析のダイジェストをSlackに送信 し、重要な指標や新たな課題がチームのチャネルに届くようにします。
会話データにアクセスできるユーザー
エージェントアナリティクス機能へのアクセスは、Pendoにおける役割によって異なります。
サブスクリプション管理者はすべてのアプリでエージェントアナリティクスのすべての機能に完全にアクセスできます。AIエージェント管理者の役割はアプリレベルの役割で、割り当てられた特定のアプリに対して同様のアクセス権を与えます。あるアプリのAIエージェント管理者ではあるものの、別のアプリのAIエージェント管理者ではないユーザーは、自分が割り当てられたアプリのエージェントのみを管理し、会話データのみを表示できます。
管理者権限またはAIエージェント管理者権限を持たないその他のユーザーは、エージェントアナリティクスに読み取り専用モードでアクセスできます。エージェントの概要、ユースケース、問題、既存のレポートは閲覧できますが、実際の訪問者からのプロンプトや会話は閲覧できません。
AIエージェント管理者の役割割り当てに関する手順については、「AIエージェント管理者の役割を割り当てる」をご覧ください。完全な権限の詳細については、「役割と権限」を参照してください。
エージェントアナリティクスの機能
エージェントアナリティクスは、ブラウザコンテキスト（Pendo Web SDKまたはブラウザ拡張機能）またはエージェントのバックエンドコード（サーバーサイドのConversations API）にアクセスできるAIエージェントからデータを取得することができます。
これには、以下の環境で実行されるエージェントが含まれます。
- 独自のWebアプリケーション（Pendo Web SDKを使用）。
- Pendoブラウザ拡張が従業員向けにデプロイされているサードパーティのWebアプリケーション（プロンプトのみ）。
- モバイルアプリ、バックエンドサービス、または開発チームがサーバーサイドのConversations APIを呼び出すことができるカスタムインテグレーション（たとえば、会話を自分のバックエンド経由でルーティングするSlackまたはMicrosoft Teamsエージェント）。
ブラウザのコンテキストやエージェントのコードにアクセスできない場合、エージェントアナリティクスはデータを取得できません。以下はその例です。
- ブラウザ拡張機能を展開できないデスクトップアプリケーションを介してアクセスされるサードパーティエージェント（例：Copilot）。
- Pendo Web SDKを追加できず、エージェントのバックエンドコードにアクセスできないiframeまたは同様のコンテナを介してアプリケーションに埋め込まれたサードパーティエージェント。
注： Agent Analyticsは、お客様のプライバシーと除外設定を尊重します。［処理禁止］とマークされた訪問者とアカウントはエージェントアナリティクスデータを生成せず、除外リストに登録されている訪問者とアカウントからのプロンプトは［プロンプト数］に含まれず、月間プロンプト制限にもカウントされません。
使用制限とプロンプトクォータ
エージェントアナリティクスの有料サブスクリプションをお持ちでないお客様には、Pendoは毎月のプロンプト制限を適用します。
- 各サブスクリプションでは、毎月最大500件のプロンプトを収集できます。
- この制限に達すると、Pendoはその月の残りの期間、新しいプロンプトイベントの収集を停止します。既存のデータとレポートは引き続き使用できます。
- 制限は毎月1日の午前0時（UTC）にリセットされます。クォータがリセットされると、Pendoは自動的に新しいプロンプトの収集を再開します。
エージェントアナリティクスでは、プロンプトの上限に近づいた場合、または上限に達した場合にアプリ内にバナーを表示し、データ収集が一時停止する前にアップグレードするかどうかを決定できるようにします。
プロンプトのカウント方法や、サブスクリプション全体での使用状況を確認するには、「組織の設定でAIプロンプトを追跡する」を参照してください。