Predictエージェントの使用方法(ベータ版)

最終更新日:

Predictエージェントは、すべてのPredictモデルに組み込まれた、AIを活用した対話型アシスタントです。モデルのトレーニング後、エージェントはモデルの検証、データや予測因子のパターンの探索、注目するレコードの決定、そして独自のプレイブックに基づく次のステップの推奨をサポートします。

この記事では、Predictエージェントとは何か、いつ使用するか、またどのように機能するかについて説明します。

ベータ版:Predictエージェントはベータ版です。この記事で説明されている機能と制限は、一般提供開始前に変更される場合があります。

前提条件

Predictエージェントを使用するには以下が必要です。

  • プロジェクト内のトレーニング済みPredictモデル。トレーニングが完了すると、エージェントはモデルの分析画面内にタブとして表示されます。
  • プロジェクトへのアクセス。モデルが含まれるプロジェクトへのアクセス権を持つユーザーは、そのエージェントにもアクセスできます。

Predictエージェントのユースケース

モデルのトレーニングが完了すると、Predictエージェントは4つの領域をサポートします。

したいこと 質問の例
そのスコアを信頼できるかを確認するためモデルを検証する 「過去1年間に解約したアカウントについてはどのような結果でしたか?」
オーディエンス全体でデータと予測パターンのインサイトを取得する 「高リスクスコアを引き起こす最も強いシグナルは何ですか?」
顧客ポートフォリオ全体でどこに注力すべきかを理解する 「今後90日以内に更新期限を迎えるアカウントのうち、最もリスクが高いのはどれですか?」
推奨される次のステップを取得する(すぐに使える下書き付き) 「Acme Healthcareについてどうすべきでしょうか?エグゼクティブスポンサー宛てのメールを作成してください。」

エージェントが最も役立つのは、次のような場合です。

  • モデルのスコアに基づいて行動する前に、そのスコアを信頼できるかどうかを判断します。
  • 予測パターンを探索します。
  • 大量の予測をトリアージし、今重要なレコードに絞り込みます。
  • 特定のレコードがそのスコアを獲得した理由を診断し、明確でわかりやすい言葉でその根拠を示します。
  • 独自のプレイブックに基づいて、単一のレコードに紐づく保存プランを生成します。
  • プランやコミュニケーション案を繰り返し検討します。

Predictエージェントがクエリを処理する方法

エージェントはPendoがホストする大規模言語モデルを使用します。プロンプトを解釈し、以下のソースから根拠情報を取得して、構造化されたストリーミング形式の応答を返します。

ソースには以下が含まれます。

  • トレーニング済みのモデル。スコア、予測因子の寄与度、トレーニングとオーディエンスの統計、レコードごとのシグナル。
  • 連携されたプレイブック。モデルのナレッジベースにアップロードしたPDF、スライド資料、ドキュメント。エージェントはRAG(検索拡張生成)を使用して関連するセクションを取得し、応答内でそれらを引用します。
  • カスタム指示。プロジェクトレベルで作成するテキストで、エージェントにスコアの説明方法、プランの作成方法、常に適用すべきグローバルなコンテキストを指示するものです。
  • スキルカタログ。プランの作成時にエージェントが選択できる顧客が定義したプレイ(例:「エグゼクティブビジネスレビュー」や「顧客再獲得アウトリーチ」)。

注:お客様のデータを当社がAIモデルのトレーニングに使用することはありません。詳細については、Pendo Trust Centerを参照してください。

Predictエージェントが行わないこと

  • コミュニケーションを送信することはありません。エージェントはメールや会議の議題などの資料の下書きを作成しますが、送信することはありません。各下書きをご自身のツールにコピーして送信します。
  • 代替シナリオをシミュレーションするものではありません。エージェントは、「Acmeが別の地域にあったらどうなるでしょうか?」、「ARRが倍になったらどうなるでしょうか?」のような質問には答えません。予測は実際のトレーニングデータに基づいています。
  • チャットを通じてモデル設定が変更されることはありません。設定の変更は[設定]ページで行われ、エージェントがそのページにリダイレクトします。

Predictエージェントを使用する

モデルのトレーニングが完了すると、モデルの分析評価セクション内に新しい[エージェント]タブが表示されます。

エージェントを使用するには:

  1. トレーニング済みモデルの分析に移動します。
  2. 左側の[評価]を選択します。
  3. [エージェント]タブを選択します。
生成されたインサイトとフォローアップの質問を表示するPredictエージェントチャットの画面。

エージェントを初めて開くと、データに関する生成済みのインサイトが表示されます。何を質問すればいいかが分かっていなくても大丈夫です。エージェントが候補となるフォローアップ用の質問を提案するので、その中から選ぶことも、自分で入力することもできます。

後で戻ってきたときに、中断したところから会話を続けることができます。上にスクロールして、前のメッセージを再確認してください。

プロンプト内のデータを参照する

チャットでは、アカウント、機会、予測因子、フィールド、セグメント、その他モデルが認識しているエンティティなど、モデルの決定ベースにある任意のデータポイントを名前で参照できます。プロンプトにその名前を入力すると、エージェントがそれを解決します。名前の一部の一致にも対応し、あいまいな点がある場合は確認を求めます。

ヒント:特定のレコードについてより深いインサイトを得るには、質問でそのレコードを名前で指定します(たとえば、「Acme Healthcareに解約リスクがあるのはなぜですか?」など)。エージェントは右側のレコードウィジェットを開き、コンテキストに沿ってスコアを説明します。

注:エージェントが常に把握しておくべき特定のデータポイントを固定するには、設定のカスタム指示に追加してください。カスタム指示では、インライン参照用の@メンションを使用できます。

レコード詳細の表示

チャット、またはエージェントが返す任意のリストから、レコードの全体表示を開きます。このビューには、推論、推奨アクション、下書きが含まれます。

レコードを選択すると、[レコードウィジェット]がサイドバーとして開きます。ウィジェットには次の内容が含まれています。

  • この予測の要因。スコアの主な理由(たとえば「更新時の解約リスク高:エグゼクティブスポンサーの離脱、請求に関する懸念の浮上」)の後に、明確でわかりやすい要約、主要なリスク要因、肯定的な指標、ビジネスへの影響が続きます。これらはすべて、モデルが使用したシグナルに基づいています。
  • サクセスプラン。レコードに紐付けられた、簡潔な次のステップの順序付きリスト。各アクションカードには、タイトル、説明、推奨タイミング(更新日または別の基準日を基準とする)、そのアクションを生成したスキル、参照しているプレイブックのセクションからの引用が表示されます。
  • 下書き:アクションによってメールやアジェンダなどの下書き作成が可能な成果物が生成される場合、アクションカード上でそれを選択し、ウィジェットから読み取り専用で表示できます。エージェントチャットを使用して下書きを編集できます。 

ウィジェットは、モデルの有効化後にCSMがCRMウィジェットで見るものと同じ表示です。そのため、エージェントでの会話内容は、CSMが業務で使用する画面にそのまま反映されます。

注:レコードがクローズ状態(すでに更新済み、または解約済み)の場合、ウィジェットには予測の要因となった内容のみが表示され、おすすめのアクションや下書きは表示されません。

チャットを通じてプランや下書きを改善する

エージェントに依頼してプランや下書きを編集できます。 

例:

  • 「アクション2を変更する案は、すでに試しました。別のアプローチを提案してください。」
  • 「メールを短くして、価格については触れないでください。」
  • 「会議の議題向けによりフォーマルなトーン。」

エージェントはアクションまたは下書きを再生成します。会話の履歴はすべて保持され、変更を加えても過去の回答は書き換えられません。

エージェントを設定する

エージェントの行動は、分析内の[設定]タブで制御されます。プロジェクトへのアクセス権を持つユーザーであれば誰でも設定を表示および編集できます。構成はプロジェクト内のすべてのユーザーに適用されます。

4つのセクションがあります。

プレイブック

プロジェクトのプレイブックライブラリに公開されているすべてのプレイブックの一覧。プレイブックを切り替えることで、エージェントとの接続または切断を行うことができます。接続されたプレイブックは、エージェントのRAG検索で利用できるようになります。

各行には、プレイブック名、最終公開日、説明が表示されます。プレイブックのアップロードと管理について、対応するファイル形式やサイズ制限などの詳細は、Predictでプレイブックを使用するをご覧ください。

スキル

プランの作成時にエージェントが選択できるスキルのカタログです。各スキルは、例えば「エグゼクティブビジネスレビュー」、「顧客再獲得アウトリーチ」、「採用促進」といった、アクションの種類を定義します。

スキルには以下が含まれます。

フィールド 説明
名前 スキルに付ける名前。
説明 スキルが適している場合の1行の要約。
コンテンツタイプ メール、会議の議題、その他、またはなしのいずれか。アクションが下書きを添付するかどうか、およびどのテンプレートをレンダリングするかを決定します。
プランナーの指示 このスキルが適用される条件。エージェントは、アクションに使用するスキルを選択する際にこれを読み取ります。
実行者向けの指示 スキルの実行時に適用されるコンテンツ、トーン、構成のガイドライン。[なし]を除くすべてのコンテンツタイプで利用できます。
ソース プレイブック(自動抽出)または手動(カスタム追加)。
アクティブ カタログでスキルを含めるか除外するかを切り替えます。

[プレイブックから抽出]を選択すると、エージェントが接続されたプレイブックを読み取り、スキルの候補を提案します。このボタンは、新しいプレイブックが接続された場合、または接続されたプレイブックが更新された場合にのみ有効になります。抽出されたスキルは[アクティブ]として表示されます。

カスタム指示

エージェントに使用させるプロジェクトレベルの自由記述コンテキスト。以下のオプションがあります。

対象範囲 使用されるタイミング
グローバル指示 すべての回答、プラン、下書きに適用されます。
説明指示 エージェントがスコアの理由を説明する場合に適用されます。
プラン生成の指示 エージェントが保存プランを作成する際に適用されます。

スコアラベル

4つのスコア名を、社内で使われている用語に合わせて変更します。デフォルトはモデルのユースケースから引き継がれます(例:解約に対しては「重大/高/低/最小」)。

モデルについて

モデルについてビューは、モデルのトレーニングと評価結果をまとめた読み取り専用の概要です。以下が含まれます。

  • ユースケースと説明。モデルのビジネスロジックに基づいて。
  • 見出しの正確性。ホールドアウトテストセットにおける全体的な精度。
  • 精度の内訳。実際に成功したレコードと失敗したレコード(例えば、解約した顧客と更新した顧客)のパフォーマンス。
  • スコア別の傾向。各スコア(重大、高、低、最小)について、テストセットで実際にその結果に至ったレコードの割合。
  • 上位モデルフィーチャー。重要度順にランク付けされた予測因子のリスト。
  • オーディエンスの分布。各スコア帯のレコード数と割合を円グラフで表示します。
  • データソース。モデルにデータを提供したシステム(例:Salesforce、Pendo)。
  • 学習メタデータ。学習レコード数、予測期間、最終学習日、モデルバージョン。
  • レコードのドリルダウン。モデルの背後にあるレコードにズームインします。検索、フィルター、グループ化、列の編集、CSVへのエクスポート。テストセットとオーディエンスの両方で利用できます。

会話を管理する

各ユーザーはモデルごとに1つの継続的な会話を持ち、セッション単位の区切りもタイムアウトもありません。メッセージは時系列順に表示され、最も古いものが上、最も新しいものが下に表示されます。

ここでは以下が可能です。

  • 会話をリセットします。右上の[新しいチャット]ボタンを選択すると、チャット履歴(およびそれに関連付けられたプランや下書き)が消去されます。設定とモデルの状態は影響を受けません。リセット後、エージェントは新しい状態で開きます。
  • 過去のメッセージは変更できないものとして扱います。設定を変更した場合も、モデルを再トレーニングした場合も、エージェントが以前の回答を書き換えることはありません。会話の途中で設定が変更されると、何が変わったのかを確認できるよう、変更時刻に簡単なシステムメッセージが挿入されます。

注:モデルが再トレーニングされると、すべてのユーザーの会話が自動的にリセットされます。過去の回答は以前のモデルに基づいていたため、リセットすることで陳腐化したり矛盾した回答を防ぐことができます。

共有

Predictエージェントは、そのモデルを含むプロジェクトの共有設定を継承します。プロジェクトにアクセスできるユーザーは、エージェントにもアクセスできます。

共有ユーザーがエージェントを初めて開くと、新しい会話が始まります。会話はユーザーごとのものであり、共有されません。

ベストプラクティスとトラブルシューティング

最も信頼性の高い結果を得るには:

  • 具体的に始めます。一度に1つのレコード、1つの予測因子、または1つのセグメントについて質問します。フォローアッププロンプトを使用して範囲を広げます。
  • 名前でレコードを参照します。エージェントは名前の一部で一致を判定し、曖昧な場合は近似する一致候補を表示します。
  • 英語のプレイブックを使用してください。英語以外のコンテンツがブロックされることはありませんが、回答の品質にはばらつきが生じる場合があります。
  • ドリフトを報告するには、サムズダウンを使用してください。回答が誤っていると思われる場合は、チームが調査できるようにマークしてください。
  • コンテキストがずれた場合は、会話をリセットしてください。関係のない複数のトピックに話が及んだ場合は、新しい会話を始めた方がより的確な回答が得られます。

回答が間違っているように見える場合

  • エージェントのデータは、モデルの最終トレーニング実行時点のものです。その期間外の最近のアクティビティは反映されません。
  • スコアに異議を唱えると、エージェントはそのスコアの要因となった主要なシグナルを一覧表示します。これらのシグナルが記録内容に対して正確でない場合は、データ品質に関する問題としてPendo Teamに報告する価値があります。
  • エージェントが質問(たとえば、反事実的な質問や対象範囲外の質問)には回答できないと言った場合、その制限は意図的なものです。Predictエージェントが行わないことのセクションをご覧ください。

 

 

 

この記事は役に立ちましたか?
0人中0人がこの記事が役に立ったと言っています