エージェントアナリティクスの問題は、AIエージェントの会話における潜在的な問題を特定し、追跡するのに役立ちます。これらを見つけるには、［プロダクト］>［エージェントアナリティクス］に移動し、AIエージェントまたは保存済みレポートを選択して、［問題］タブを選択してください。このタブには2種類のタイプが含まれています。
- ［新規］の問題は自動的に検出され、最新の会話データに基づいて動的に更新されます。
- 追跡中問題は持続的で、特定のトピックを時間をかけて監視できます。
問題は次に役立ちます。
- 訪問者がAIエージェントで苦労したり不満を感じている箇所を理解する。
- レイジプロンプト率上昇の根本原因を特定する。
- エージェントのプロンプト、ワークフロー、ガードレールの改善を優先する。
注：問題は、全会話を記録するように設定されたエージェントでのみ利用可能です。プロンプトのみのエージェントはサポートされていません。
［ユースケース］タブには、［新規］と［追跡中］の2つのビューがあります。［新規］タブがデフォルトで開きます。［追跡中］タブを選択すると、手動で作成して経時的に監視するように設定した問題が表示されます。
問題の種類を理解する
検出された問題はそれぞれ3つのタイプに分類され、全会話数に対する割合として表示されます。これらのパーセンテージを活用して、エージェントが苦戦している点を特定し、改善の優先順位を付けます。
- レイジプロンプト。少なくとも1つのレイジプロンプト（訪問者からのフラストレーション、怒り、敵意を表すメッセージ）を含む会話の割合。兆候としては、エージェントに対する罵詈雑言、敵意を示す大文字のみの文言、あるいは「もう一度やり直してください」や「それは私が尋ねたことではありません」といった明確な不満表現に加え、エージェントが失敗したことを示す証拠が挙げられます。
- サポートされていないリクエスト。エージェントが訪問者の要求を満たすことができなかった会話の割合。例えば、エージェントが助けを拒否したり、訪問者を別のチャンネルに誘導したりする場合です。
- エラー。システム障害、処理制限、ツールまたはAPI呼び出しの失敗など、エラーが発生した会話の割合。
新たに発生した問題を理解する
Pendoは会話内容を分析し、混乱、フラストレーション、またはタスク完了の失敗を示すパターンを検出することで、新規の問題を自動的に特定します。これらのグループ分けは、新しい会話データが入力されるたびに更新され、ページ上部で選択したフィルターを反映します。追加の設定は必要ありません。
新たに発生した問題表の各行には以下が含まれます。
- 問題。検出された問題を説明する要約。
- インスタンス。すべての会話で問題が発生した回数。
- 会話。その問題に関連付けられた会話の数。
- 訪問者。影響を受けた一意の訪問者数。
- アカウント。それらの会話に関連付けられているアカウントの数。
-
最終発生。この問題の最新の発生。
問題を追跡する
問題を追跡することで、特定の問題を保存し、時間の経過とともにその問題がどのように変化するかを監視できます。新規の問題はフィルターや最近のアクティビティに基づいて変化しますが、追跡中の問題はエージェントの分析において名前付きの問題として保持されるため、継続的な影響を測定できます。
次を行いたい場合に、追跡中の問題を作成できます。
- 既知の問題が会話全体でどのくらいの頻度で発生するかを測定します。
- エージェントのプロンプト、ワークフロー、ガードレールの変更の影響を監視します。
- エンジニアリング、サポート、その他のチームと一貫したインサイトを共有します。
追跡中の問題を作成する方法は2通りあります。
- ［追跡中］タブから、表の上にある［+ 追跡中の問題を作成］を選択します。
- ［新規］タブから、追跡したい新規のテーブル行で［+ 問題を追跡］を選択します。
次に、以下の手順を実行します。
- 問題の名前を入力してください。新規の問題から開始した場合、フィールドはあらかじめ入力されており、編集可能です。
- エージェントが抱えている問題を説明してください。問題を分かりやすい言葉で説明してください。例えば、「このアカウントにはデータが存在するにもかかわらず、エージェントはデータがないと言っています。」
- ［次へ］を選択します。Pendoは、あなたの説明と既存の会話データを使用して、検出ルールを自動的に生成します。
- 自動生成されたルールを確認して編集するか、独自のルールを追加します。最大10件のルールがサポートされます。
- ルールを編集するには、ルールのテキストボックスを選択して変更を加えます。
- ルールを追加するには、［+ ルールを追加］を選択し、ルールを入力します。
- ［問題を作成］を選択します。
作成後、追跡中の問題は［追跡中の問題］テーブルに［処理中］と表示されます。処理は毎正時に開始され、最大15分かかることがあります。
追跡中の問題を編集または削除する
- ［追跡中の問題］テーブルに移動します。
- 問題の上にカーソルを合わせ、次に表の行の一番右端で以下を行います。
- ［編集］を選択して、名前、説明、またはルールを更新します。編集は過去90日間の会話に適用され、再評価により、更新された名前、説明、またはルールに基づいて、問題から会話が追加または削除されることがあります。
- 問題を削除するには、［削除］を選択してください。
注：追跡中の問題やルールを追加または編集すると、Pendoは会話データを再処理します。再処理が完了すると結果が変わることがあります。
追跡中の問題を表示および管理する
追跡中の問題は常に［追跡中の問題］テーブルに表示されますが、各問題に表示されるデータは、ページ上部の現在のフィルター設定を反映しています。
［追跡中の問題］テーブルには、以下の列が含まれています。
- 問題名。問題作成時に入力された名前と説明。
- インスタンス。すべての会話で問題が発生した回数。
- 会話。その問題に関連付けられた会話の数。
- 訪問者。影響を受けた一意の訪問者数。
- アカウント。それらの会話に関連付けられているアカウントの数。
- 作成者。追跡中の問題を作成したPendoユーザー。
-
作成日時。追跡中の問題が最初に作成された日時。
追跡中の問題の検出ルールを管理する
検出ルールは、追跡中の問題に一致する会話を特定する際に、Pendoが何を探すかを定義します。追跡中の問題ごとに最大10件のルールをいつでも編集、追加、削除できます。
ヒント：ルールは具体的であればあるほど効果的です。一般的な話題ではなく、具体的な行動やパターンを説明してください。例えば、「データの問題」ではなく、「アカウントデータが存在するにもかかわらず、エージェントが『データがありません』と応答する」といった表現が適切です。
- 更新したい追跡中の問題にカーソルを合わせ、表の行の右端にある［編集］アイコンを選択します。
- 必要に応じて問題名と説明を調整し、［次へ］を選択します。
- ルールを編集するには、ルールのテキストボックスを選択して変更を加えます。
- ルールを追加するには、［+ ルールを追加］を選択し、ルールを入力します。
- ルールを削除するには、ルールにカーソルを合わせ、テキストボックスの右端に表示されるＸを選択します。
- 変更を適用するには［保存］を選択します。
問題を調査する
新規の問題や追跡中の問題については、該当する行のメトリック値のいずれかを選択することで調査できます。
-
Leoに質問。［Leoに質問］がオンになっている場合は、問題名の横にある［Leoに質問］アイコンを選択すると、ガイド付きのプロンプトが表示され、質問をすることで問題をさらに詳しく調査できます。［Leoに質問］オプションは、問題にプロンプトや会話が 1 つ以上ある場合に利用できるようになります。
-
インスタンスや会話。関連する会話の一覧を表示するサイドパネルを開きます。パネルから［会話を表示］ を選択して、その全体の文脈を確認し、問題がどこで発生したか確認してください。問題インスタンスから追加のアクションを選択することもできます。
- ［チケットを作成］すると問題の詳細がクリップボードにコピーされるので、JiraやLinearのようなプロジェクト追跡ツールに貼り付けることができます。コピー前に、問題の文脈、証拠、メタデータなどの事前入力された詳細を確認し編集できます。
- ［リプレイの視聴］では、サブスクリプションに追加し該当アプリケーションでPendoリプレイを有効にしている場合、訪問者がエージェントとやり取りする映像を表示します。
- 訪問者またはアカウント。影響を受けるビジターまたはアカウントIDのリストを開きます。ここから、特定の記録を検索したり、該当する訪問者またはアカウントの詳細ページに移動したりできます。
Pendoは、ある問題に関連付けられた会話を開くと、そのやり取りの関連部分を開きます。これにより、問題の原因や担当者の対応が理解できます。そこから、具体的な例をエンジニアリングやサポートチームに共有したり、エージェントのプロンプトやワークフロー、ガードレールを更新して問題に対処することができます。