AIエージェントのカスタム成功指標

最終更新日: 2026年09月28日 00:51

エージェントアナリティクスのカスタム成功指標では、AIエージェントにとって成功した会話の条件を定義し、エージェントがその条件をどの程度達成しているかを追跡できます。利用状況だけでなく、エージェントが本来の目的を達成できているかどうかを測定できます。

ユースケース

カスタム成功指標を使用して次のことができます：

請求に関する質問への対応やオンボーディングの完了など、エージェントが想定された役割を果たしているかどうかを測定すること。
エージェントへの変更によって成果が改善されたかどうかを、成功率の推移から確認すること。
指標に目標を設定して、目標達成までの進捗を追跡すること。

カスタム成功指標の仕組み

カスタム成功指標を作成する際は、成功した会話とはどのようなものかをわかりやすい言葉で記述します。 Pendoはその説明から一連のYes/Noルールを生成し、保存する前に確認および編集することができます。その後、Pendoは各会話をこれらのルールに照らし合わせて評価し、少なくとも1つのルールを満たした場合に成功としてカウントします。

会話はルールのいずれか1つを満たすと通過するため、各ルールは会話を成功させるための個別の方法です。ルールを追加すると指標の対象範囲が広がるため、パス率は変わらないか上がることが予想されます。

会話が終了すると、Pendoは設定したルールと照らし合わせて評価します。指標が意図したとおりに機能しているか確認するには、成功としてカウントされた会話を確認します。詳細については、結果の確認を参照してください。

各カスタム成功指標は1つのエージェントに属し、エージェントの**［利用率（Adoption）］**セクションで組み込み指標とあわせて表示されます。

注：評価はリアルタイムではなく会話終了後に実行されるため、結果が表示されるまで時間がかかる場合があります。

始める前に

エージェントアナリティクスにアクセスできるすべてのユーザーは、カスタム成功指標を作成し、作成した指標を編集または削除できます。管理者権限を持つユーザーは、作成者が他のユーザーである指標を編集または削除することもできます。その他のユーザーは、これらの操作を行うことはできません。

カスタム成功指標は、プロンプトエージェントと会話エージェントの両方で利用できます。

カスタム成功指標を作成する

エージェントの「利用率」セクションからカスタム成功指標を作成しましょう。作成は2つのステップで行います。まず指標を定義し、次にPendoが生成したルールを確認します。

［プロダクト（Product）］＞［エージェントアナリティクス（Agent Analytics）］**に移動し、AIエージェントを選択するか、保存済みレポートを開きます。
［概要（Overview）］タブの［利用率（Adoption）］セクションで、［メトリックを作成（Create metric）］**を選択します。
メトリック の名前を入力します。名前は、デフォルトまたは既存のカスタム成功指標とは異なる必要があります。
［追跡する内容（What to track）］で、「会話が成功したと判断する条件は何ですか？」に回答します。会話を読んで確認できる結果を記述します。詳細に記述するほど、より正確な検出ルールが生成されます。保存後、この説明が指標名の隣にあるツールチップに表示されます。

注：今後数週間以内に、成功条件としてページ、フィーチャー、またはトラックイベントを指標に関連付けられるようになる予定です。
［次へ（Next）］を選択してルールを生成します。
［ルールを確認（Review rules）］ステップでは、説明をもとにPendoが生成した「はい」または「いいえ」で判定するルールを確認します。測定したい内容に合わせて、ルールを編集、削除、または追加します。各ルールは、「はい」または「いいえ」で判定できる内容にします。
［メトリックを作成］を選択して保存します。

その指標はエージェントに追加され、［利用率］セクションに表示されます。

ヒント：成功を具体的に定義してください。「訪問者が問題の解決を確認した」のような説明のほうが、「エクスペリエンスを向上させる」といった説明よりも適切なルールが生成されます。いずれか1つのルールを満たせば会話は合格となるため、各ルール単体で成功を確認できるように記述してください。「エージェントがフォローアップの質問をした」のように、成功した会話で常に当てはまるとは限らないルールを設定すると、合格率が見かけ上高くなる可能性があります。

結果を確認する

カスタム成功指標の結果は、［利用率］セクションの2つのレベルで表示されます：

メトリクスタイルでは、パスした会話の数、選択したフィルターおよび日付範囲のパス率、同じ長さの前の期間と比較した変化を確認できます。パス率は「少なくとも1つの成功基準を満たした会話」と解釈してください。
トレンドチャートでは、チャート上部の［詳細を表示（View details）］を選択するか、データポイントを選択すると、成功と判定された会話と、それに関連する訪問者およびアカウントを確認できます。各会話には、成功と判定された理由の概要が表示されます。想定どおりではない結果となった会話がある場合は、ルールの見直しを検討してください。

カスタム成功指標の結果は1日1回更新されます。今日開始した会話は、翌日になるまで結果に含まれません。

目標に対する指標の進捗を追跡する

指標のパフォーマンスを目標に対して継続的に追跡するため、目標を設定します。

指標の処理が完了したら、その指標を選択してトレンドチャートを開きます。
チャート右上の［目標を作成（Create goal）］を選択します。
［頻度（Cadence）］を選択します（例：［毎週（Weekly）］）。
［目標値（Goal value）］を入力します（例：その期間内に達成したい会話数）。
目標が指標の目的と一致していることを確認するには、ウィンドウ下部の指標名と成功条件の説明を確認します。
［保存］を選択します。

目標を設定すると、メトリックタイルの下部に目標が設定されていることが表示されます。指標のトレンドチャートには、期間ごとの指標値、目標値、ベースライン、および直近の期間で目標を達成または上回った回数の概要が表示されます。指標のトレンドビューから、目標はいつでも編集または削除できます。

指標を管理する

表示する指標を管理し、最新の状態に保ち、不要になった指標を削除できます。デフォルトの指標は編集や削除はできませんが、表示から非表示にすることはできます。

これらの設定はすべて、AIエージェントの詳細にある［概要（Overview）］タブの［利用率（Adoption）］セクションから管理できます。

表示される指標を変更する

利用率セクション右上の列マネージャーアイコンを使用して、表示する指標と表示順を設定します。

表示設定と並び順はアカウントに保存され、セッションをまたいで保持されます。

指標はドラッグ & ドロップして並び替えることができます。
指標を削除せずに表示から非表示にできます。再表示するには、ウィンドウ下部の［指標を追加（+ Add metric）］を選択します。メトリックタイルのオプションメニューから［非表示（Hide）］を選択して、表示から非表示にすることもできます。

指標を編集する

エージェントの運用に合わせて、カスタム成功指標の名前、成功条件の説明、またはルールを更新できます。

重要：指標のルールを編集すると、過去および今後のプロンプトや会話の評価方法も変更されます。

メトリックタイル右上のオプションメニューを選択し、［編集（Edit）］を選択します。
名前、成功条件の説明、またはルールを更新します。
［保存］を選択します。

指標を削除する

メトリックタイル右上のオプションメニューを選択し、［削除（Delete）］を選択します。
確認画面が表示されたら削除を確定します。

カスタム成功指標を削除すると元に戻すことはできず、その指標に関連付けられた目標データも削除されます。必要に応じて、いつでも新しい指標として追加できます。