AIエージェントのカスタム成功指標

最終更新日: 2026年07月13日 08:57

エージェントアナリティクスのカスタム成功指標では、AIエージェントにとって成功した会話の条件を定義し、エージェントがその条件をどの程度達成しているかを追跡できます。利用状況だけでなく、エージェントが本来の目的を達成できているかどうかを測定できます。

ユースケース

カスタム成功指標を使用して次のことができます：

請求に関する質問への対応やオンボーディングの完了など、エージェントが想定された役割を果たしているかどうかを測定すること。
エージェントへの変更によって成果が改善されたかどうかを、成功率の推移から確認すること。
指標に目標を設定して、目標達成までの進捗を追跡すること。

カスタム成功指標の仕組み

カスタム成功指標を作成する際は、成功した会話の条件をわかりやすい言葉で記述します。Pendoはその説明をもとに、「はい」または「いいえ」で判定できるルールを生成します。保存する前に内容を確認し、必要に応じて編集できます。Pendoは各会話をそれらのルールに基づいて評価し、すべてのルールを満たした場合にのみ成功としてカウントします。

会話はすべてのルールを満たした場合にのみ成功となるため、ルールを追加すると指標の判定基準はより厳しくなります。既存の指標にルールを追加すると、成功率は上昇せず、維持または低下することが想定されます。

会話が終了すると、Pendoは各ルールの合否と、評価全体の信頼度スコアを記録します。信頼度スコアを使用して判定が微妙なケースを見つけ、時間をかけてルールを改善できます。

各カスタム成功指標は1つのエージェントに属し、エージェントの**［利用率（Adoption）］**セクションで組み込み指標とあわせて表示されます。

注：評価はリアルタイムではなく会話終了後に実行されるため、結果が表示されるまで時間がかかる場合があります。

始める前に

Agent Analyticsにアクセスできるユーザーは、カスタム成功指標を作成、編集、削除できます。

カスタム成功指標は、プロンプトエージェントと会話エージェントの両方で利用できます。

カスタム成功指標を作成する

エージェントの「利用率」セクションからカスタム成功指標を作成しましょう。作成は2つのステップで行います。まず指標を定義し、次にPendoが生成したルールを確認します。

［プロダクト（Product）］＞［エージェントアナリティクス（Agent Analytics）］**に移動し、AIエージェントを選択するか、保存済みレポートを開きます。
［概要（Overview）］タブの［利用率（Adoption）］セクションで、［メトリックを作成（Create metric）］**を選択します。
メトリック の名前を入力します。名前は、デフォルトまたは既存のカスタム成功指標とは異なる必要があります。
［追跡する内容（What to track）］で、「会話が成功したと判断する条件は何ですか？」に回答します。会話を読んで確認できる結果を記述します。詳細に記述するほど、より正確な検出ルールが生成されます。保存後、この説明が指標名の隣にあるツールチップに表示されます。

注：今後数週間以内に、成功条件としてページ、フィーチャー、またはトラックイベントを指標に関連付けられるようになる予定です。
［次へ（Next）］を選択してルールを生成します。
［ルールを確認（Review rules）］ステップでは、説明をもとにPendoが生成した「はい」または「いいえ」で判定するルールを確認します。測定したい内容に合わせて、ルールを編集、削除、または追加します。各ルールは、「はい」または「いいえ」で判定できる内容にします。
［メトリックを作成］を選択して保存します。

その指標はエージェントに追加され、［利用率］セクションに表示されます。

ヒント：成功とみなす条件は具体的に記述してください。「訪問者が問題の解決を確認した」のような説明は、「体験を向上させる」よりも、より適切なルールを生成できます。すべてのルールを満たす必要があるため、考えられる条件をすべて追加するのではなく、本当に成功を定義する条件に絞ってルールを作成してください。

結果を確認する

カスタム成功指標の結果は、［利用率］セクションの2つのレベルで表示されます：

メトリックタイルには、条件を満たした会話数、選択したフィルターと期間における達成率、および同じ期間の前期間との比較結果が表示されます。会話はすべてのルールを満たした場合にのみ条件を満たしたものと判定されるため、達成率は「すべての成功条件を満たした会話」の割合として解釈してください。「一部のみ成功した会話」の割合ではありません。
トレンドチャートでは、チャート上部の［詳細を表示（View details）］を選択するか、データポイントを選択すると、成功と判定された会話と、それに関連する訪問者およびアカウントを確認できます。各会話には、成功と判定された理由の概要が表示されます。想定どおりではない結果となった会話がある場合は、ルールの見直しを検討してください。

目標に対する指標の進捗を追跡する

指標のパフォーマンスを目標に対して継続的に追跡するため、目標を設定します。

指標の処理が完了したら、その指標を選択してトレンドチャートを開きます。
チャート右上の［目標を作成（Create goal）］を選択します。
［頻度（Cadence）］を選択します（例：［毎週（Weekly）］）。
［目標値（Goal value）］を入力します（例：その期間内に達成したい会話数）。
目標が指標の目的と一致していることを確認するには、ウィンドウ下部の指標名と成功条件の説明を確認します。
［保存］を選択します。

目標を設定すると、メトリックタイルの下部に目標が設定されていることが表示されます。指標のトレンドチャートには、期間ごとの指標値、目標値、ベースライン、および直近の期間で目標を達成または上回った回数の概要が表示されます。指標のトレンドビューから、目標はいつでも編集または削除できます。

指標を管理する

表示する指標を管理し、最新の状態に保ち、不要になった指標を削除できます。デフォルトの指標は編集や削除はできませんが、表示から非表示にすることはできます。

これらの設定はすべて、AIエージェントの詳細にある［概要（Overview）］タブの［利用率（Adoption）］セクションから管理できます。

表示される指標を変更する

利用率セクション右上の列マネージャーアイコンを使用して、表示する指標と表示順を設定します。

表示設定と並び順はアカウントに保存され、セッションをまたいで保持されます。

指標はドラッグ & ドロップして並び替えることができます。
指標を削除せずに表示から非表示にできます。再表示するには、ウィンドウ下部の［指標を追加（+ Add metric）］を選択します。メトリックタイルのオプションメニューから［非表示（Hide）］を選択して、表示から非表示にすることもできます。

指標を編集する

エージェントの運用に合わせて、カスタム成功指標の名前、成功条件の説明、またはルールを更新できます。

重要：指標のルールを編集すると、過去および今後のプロンプトや会話の評価方法も変更されます。

メトリックタイル右上のオプションメニューを選択し、［編集（Edit）］を選択します。
名前、成功条件の説明、またはルールを更新します。
［保存］を選択します。

指標を削除する

メトリックタイル右上のオプションメニューを選択し、［削除（Delete）］を選択します。
確認画面が表示されたら削除を確定します。

カスタム成功指標を削除すると元に戻すことはできず、その指標に関連付けられた目標データも削除されます。必要に応じて、いつでも新しい指標として追加できます。