AIエージェントのカスタム成功指標

最終更新日: 2026年11月09日 17:21

エージェントアナリティクスのカスタム成功指標では、AIエージェントにとって成功した会話の条件を定義し、エージェントがその条件をどの程度達成しているかを追跡できます。利用状況だけでなく、エージェントが本来の目的を達成できているかどうかを測定できます。

ユースケース

カスタム成功指標を使用して次のことができます：

請求に関する質問への対応やオンボーディングの完了など、エージェントが想定された役割を果たしているかどうかを測定すること。
エージェントへの変更によって成果が改善されたかどうかを、成功率の推移から確認すること。
指標に目標を設定して、目標達成までの進捗を追跡すること。

カスタム成功指標の仕組み

各カスタム成功指標にはタイプがあり、作成時に選択します。

インテント：成功ルールを満たす会話を測定します。
イベント：このエージェントとの会話が、選択したプロダクトイベントにつながる頻度を測定します。
ハイブリッド：成功ルールを満たす会話が、選択したプロダクトイベントにつながる頻度を測定します。

インテントまたはハイブリッド指標を作成する際は、成功した会話がどのようなものかを平易な言葉で記述します。Pendoはその説明から一連の「はい/いいえ」のルールを生成し、保存する前に確認および編集できます。その後、Pendoはそれらのルールに照らして各会話を評価し、少なくとも1つのルールを満たした場合に成功としてカウントします。

イベント指標とハイブリッド指標でもファネルを使用します。最初のステップはエージェントです。イベント指標の場合はすべての会話、ハイブリッド指標の場合はルールを満たす会話のみが対象です。次のステップは、その後に訪問者が到達すると想定されるページ、フィーチャー、トラックイベント、ガイド、またはAIエージェントです。この指標では、ファネルを完了した会話の数が示されます。

会話はルールのいずれか1つを満たすと通過するため、各ルールは会話を成功させるための個別の方法です。ルールを追加すると指標の対象範囲が広がるため、パス率は変わらないか上がることが予想されます。

会話が終了すると、Pendoは設定したルールと照らし合わせて評価します。指標が意図したとおりに機能しているか確認するには、成功としてカウントされた会話を確認します。詳細については、結果の確認を参照してください。

各カスタム成功指標は1つのエージェントに属し、エージェントの**［利用率（Adoption）］**セクションで組み込み指標とあわせて表示されます。

注：評価はリアルタイムではなく会話終了後に実行されるため、結果が表示されるまで時間がかかる場合があります。

始める前に

エージェントアナリティクスにアクセスできるすべてのユーザーは、カスタム成功指標を作成し、作成した指標を編集または削除できます。管理者権限を持つユーザーは、作成者が他のユーザーである指標を編集または削除することもできます。その他のユーザーは、これらの操作を行うことはできません。

カスタム成功指標は、プロンプトエージェントと会話エージェントの両方で利用できます。各エージェントには、カスタム成功指標を最大10件追加できます。

カスタム成功指標を作成する

エージェントの「利用率」セクションからカスタム成功指標を作成しましょう。作成は2つのステップで行います。まず指標を定義し、次にPendoが生成したルールを確認します。

［プロダクト（Product）］＞［エージェントアナリティクス（Agent Analytics）］**に移動し、AIエージェントを選択するか、保存済みレポートを開きます。
［概要（Overview）］タブの［利用率（Adoption）］セクションで、［メトリックを作成（Create metric）］**を選択します。
メトリック の名前を入力します。名前は、デフォルトまたは既存のカスタム成功指標とは異なる必要があります。
指標のの種類インテント、イベント、またはハイブリッドからを選択します。指標を作成した後は、タイプを変更できません。
［追跡する内容（What to track）］で、「会話が成功したと判断する条件は何ですか？」に回答します。会話を読んで確認できる結果を記述します。詳細に記述するほど、より正確な検出ルールが生成されます。保存後、この説明が指標名の隣にあるツールチップに表示されます。
［次へ］を選択します。
インテントまたはハイブリッド指標の場合は、［ルールを確認］ステップで、説明からPendoが生成したはい/いいえのルールを確認してください。測定したい内容に合うように、ルールを編集、削除、または追加してください。各ルールは、はい/いいえで回答できるように作成してください。ハイブリッド指標には、少なくとも1つのルールが必要です。
イベント指標またはハイブリッド指標の場合は、［ファネルを設定］ステップでファネルを作成します。最初のステップはエージェントであり、変更できません。さらに最大9個のステップを追加して、それぞれにページ、フィーチャー、トラックイベント、ガイド、またはAIエージェントを選択し、必要に応じてステップにフィルターを追加します。［ファネルのタイムアウト（分）］（デフォルトは60）と［日付範囲］（デフォルトは過去30日間）を設定します。一部の訪問者のみを測定するには、セグメントまたはアカウントのフィルターを追加します。
［メトリックを作成］を選択して保存します。

その指標はエージェントに追加され、［利用率］セクションに表示されます。

ヒント：成功を具体的に定義してください。「訪問者が問題の解決を確認した」のような説明のほうが、「エクスペリエンスを向上させる」といった説明よりも適切なルールが生成されます。いずれか1つのルールを満たせば会話は合格となるため、各ルール単体で成功を確認できるように記述してください。「エージェントがフォローアップの質問をした」のように、成功した会話で常に当てはまるとは限らないルールを設定すると、合格率が見かけ上高くなる可能性があります。

結果を確認する

カスタム成功指標の結果は、［利用率］セクションの2つのレベルで表示されます：

メトリクスタイルでは、パスした会話の数、選択したフィルターおよび日付範囲のパス率、同じ長さの前の期間と比較した変化を確認できます。パス率は「少なくとも1つの成功基準を満たした会話」と解釈してください。
トレンドチャートでは、チャート上部の［詳細を表示（View details）］を選択するか、データポイントを選択すると、成功と判定された会話と、それに関連する訪問者およびアカウントを確認できます。各会話には、成功と判定された理由の概要が表示されます。想定どおりではない結果となった会話がある場合は、ルールの見直しを検討してください。
イベント指標またはハイブリッド指標の場合、指標タイルにはコンバージョン率（ファネルの完了に至った会話の割合）が表示されます。ファネルウィジェットを選択すると、その内訳となる会話、アカウント、訪問者を確認できます。

カスタム成功指標の結果は1日1回更新されます。今日開始した会話は、翌日になるまで結果に含まれません。

カスタム成功指標を、ファネルのステップまたはパスの開始点として使用することもできます。その場合、追跡対象のインテント指標として表示されます。

目標に対する指標の進捗を追跡する

指標のパフォーマンスを目標に対して継続的に追跡するため、目標を設定します。

指標の処理が完了したら、その指標を選択してトレンドチャートを開きます。
チャート右上の［目標を作成（Create goal）］を選択します。
［頻度（Cadence）］を選択します（例：［毎週（Weekly）］）。
その期間に達成する会話数などの目標値を入力してください。イベントまたはハイブリッド指標の場合、目標はコンバージョン率です。
目標が指標の目的と一致していることを確認するには、ウィンドウ下部の指標名と成功条件の説明を確認します。
［保存］を選択します。

目標を設定すると、メトリックタイルの下部に目標が設定されていることが表示されます。指標のトレンドチャートには、期間ごとの指標値、目標値、ベースライン、および直近の期間で目標を達成または上回った回数の概要が表示されます。指標のトレンドビューから、目標はいつでも編集または削除できます。

指標を管理する

表示する指標を管理し、最新の状態に保ち、不要になった指標を削除できます。デフォルトの指標は編集や削除はできませんが、表示から非表示にすることはできます。

これらの設定はすべて、AIエージェントの詳細にある［概要（Overview）］タブの［利用率（Adoption）］セクションから管理できます。

表示される指標を変更する

利用率セクション右上の列マネージャーアイコンを使用して、表示する指標と表示順を設定します。

表示設定と並び順はアカウントに保存され、セッションをまたいで保持されます。

指標はドラッグ & ドロップして並び替えることができます。
指標を削除せずに表示から非表示にできます。再表示するには、ウィンドウ下部の［指標を追加（+ Add metric）］を選択します。メトリックタイルのオプションメニューから［非表示（Hide）］を選択して、表示から非表示にすることもできます。

指標を編集する

エージェントの進化に合わせて、カスタム成功指標の名前、成功の説明、ルール、またはファネルを更新できます。指標を作成した後は、タイプを変更することはできません。

重要：指標のルールを編集すると、過去および今後のプロンプトや会話の評価方法も変更されます。

メトリックタイル右上のオプションメニューを選択し、［編集（Edit）］を選択します。
名前、成功時の説明、ルール、またはファネルを更新してください。
［保存］を選択します。

指標を削除する

メトリックタイル右上のオプションメニューを選択し、［削除（Delete）］を選択します。
確認画面が表示されたら削除を確定します。

カスタム成功指標を削除すると元に戻すことはできず、その指標に関連付けられた目標データも削除されます。必要に応じて、いつでも新しい指標として追加できます。