この記事はビジュアルデザインスタジオ（Visual Design Studio）に関する内容です。ガイドの効果測定は、ある行動がガイド介入の結果であるか、それとも他の交錯条件の結果であるかを判断する際に活用します。ユーザー体験を向上させる質の高いガイドを作成するためには、多くの時間、エネルギー、労力が必要です。どんなガイドプログラムでも、ユーザーの行動に影響を与えるガイドを優先し、成果につながらないガイドを修正または中止することが重要です。ガイドの効果測定は、ガイドコンテンツが実際の行動変化を引き起こすことを明確に示す上で役立ちます。
ガイドの効果測定では、ガイドがプロダクトの成果に与える影響を測定し、検証できます。対照実験では、可能な限り他の変数を対象させながら、ひとつの独立変数が母集団全体の予測される結果に与える影響を測定することが目的です。介入によって生じた変化を測定するために、介入を見たグループ（実験グループ）と、外部の影響を受けていない別のグループ（対照グループ）との間で行動を比較する必要があります。
ガイドの効果測定においては、ガイドは行動変化に影響を与える独立変数となります。予測される結果は、ガイドを見た後に訪問者が利用すると思われるフィーチャー、ページ、またはトラックイベントであり、ガイド目標の対象として特定されます。ガイドの対象セグメントは、実験の母集団です。アクティブ実験では、対象となる訪問者がガイドをトリガーすると、無作為に実験グループに振り分けられ、ガイドが表示されるか、対照グループに振り分けられガイドが表示されないかのどちらかになります。Pendoは、訪問者がどのグループにいるかを自動的に追跡し、実験開始後の行動を監視します。この実験では、実験グループと対照グループのガイド目標の定着率を追跡します。効果的なガイドであれば、実験グループの方が対照グループと比べて高いガイド目標の定着率を示します。
要件
- Pendoガイドコンテンツ編集者、またはガイドコンテンツ作成者のユーザーの役割
- Web Agent 2.87.1以降
- モバイルSDK 2.8.0以降
- ProもしくはEnterprise- Pendoサブスクリプションプラン
実験の実施方法
よい実験はすべて仮説から始まります。多くの場合、ガイドを公開するのは、ユーザーに何かをしてもらいたいからです。新しいフィーチャーの発表は、ユーザーにそのフィーチャーを試すよう促すことになります。マーケティングガイドは新規のサブスクリプションを増やそうとしています。セルフヘルプガイドは、ワークフローを継続するための正しい方向をユーザーに示すものです。
基本的な仮説は、「もし『当社プロダクト』についてユーザーに伝えるガイドを公開すれば、ユーザーは『当社プロダクト』に関心を持つ可能性が高くなり、使用率の低さや使用しないことに関連する結果が改善される」というものです。実験対象の選択、使用頻度の増加による結果の予測、およびガイドコンテンツの設計は、お客様の裁量に任されています。Pendoを使って対照グループ実験を行い、ガイドがユーザーの行動を変えたかどうかを測定します。
対照グループ実験は、主に3つのステップで構成されています。
- ガイド目標を設定します。
ガイド目標は実験とは独立して設定することができ、実験を行わずにガイド分析を行う場合に便利です。詳細については、ガイド目標を設定するを参照してください。 - 対照グループと通知時間を設定します。
- 結果を確認し、アクションを実行します。
実験を設定する
［実験（Experiment）］タイルは、ガイドを見た実験グループと、ガイドを見ていない対照グループとの間で、ガイドがどれだけ効果的にユーザーの行動に影響を与えるかを測定する対照グループ実験の設定に使用します。実験の設定は、他のガイドの詳細が設定された後に行う必要があります。実験を設定する前にガイド目標を定義する必要がありますが、セグメントは実験全体の母集団のサイズを把握するためにも重要です。
- ガイドの詳細ページの［実験］タイルで［+実験を作成（+ Create Experiment）］を選択します。
-
実験フォローアップ通知時間と［実験グループサイズ（Experiment Group Size）］を設定します。
フォローアップ通知は、有効期限が切れるとPendoにアラートを表示し、実験の結果を確認するよう促します。実験の停止は手動で行う必要があります。結果が明確な場合は実験を早期に終了できますし、より多くのデータが必要な場合は実験を継続できます。データを見る前にこれを推測するのは困難です。
［実験グループサイズ（Experiment Group Size）］では、ガイドが表示される対象セグメントの割合を設定し、ガイドが表示されない対照グループのサイズを設定します。実験終了後には、対照グループにもガイドが表示されます。
- 各グループに少なくとも500人の訪問者があり、合計1,000人以上の訪問者を獲得するようにします。
- 一般的に、ガイドのターゲットセグメントの対象となる訪問者によって生成されるサンプルサイズを大きくすると、より多くのデータが生成され、より良い結果が得られます。
- 全体的なサンプル数が少ない実験グループのサイズを増やすと、ガイドを見た後でユーザーがコンバージョンする機会が増えます。
- 統計的に有意な対照グループのサイズを持つことは、ガイドが行動に影響を与えており、ガイド目標の定着率は他の要因の結果ではないと自信を持って言うために重要です。
ヒント：大規模な母集団では、非常に大きなサンプルサイズを使用する場合は注意が必要です。サンプルは、結果が偶然に左右されない程度の大きさでなければなりませんが、膨大な量のデータは意味のある結果を示唆するほどの大きさではありません。
- 何千人もの訪問者が実験に参加した後、実験グループは対照グループより数百多くのガイド目標の定着率を得ることがあります。
- 統計的に有意であるように見えても、実験グループと対照グループの定着率の差が非常に小さい場合、実質的に有意ではない場合があります。つまり、このガイドはユーザーや期待されるビジネス成果に具体的な影響を与えないということです。
-
［保存（Save）］を選択して実験内容を保存します。
- ガイドを［公開（Public）］に設定して実験を開始します。
結果をレビューする
ガイドが公開されると、実験が自動的に開始されます。結果は［実験結果（Experiment Results）］タブで確認できます。このタブには、実験結果の概要、実験グループと対照グループの経時的なガイド目標の定着率を示すグラフ、ダウンロード可能な実験データテーブルが表示されます。
満足のいく結果が得られるまで実験を続けてください。信頼度スコアはガイド目標データに含まれており、結果の重要性を評価し、実験を終了するタイミングを決定するのに役立ちます。［信頼度（Confidence）］が95%を超えると、［有意（Significant）］と表示されます。設定したリマインダーの有効期限が切れると、フォローアップ通知が送信されます。
信頼度スコア
信頼度とは、その結果が偶然の産物ではなく、ガイドに基づいたものであるという統計的確率を算出するものです。スコアは、ガイド目標の定着率、分散、および結果の数値を比較し、実験結果が統計的に有意である確率を判定します。実験の［信頼度］が95%以上に達すると、信頼度の横に［有意］のフラグが付けられます。
これは、結果の大きさが有意であることを意味するものではなく、結果がランダムな偶然によるものではない可能性が高いことを意味しています。たとえば、訪問者がコンバージョンする可能性が高い、ガイド目標の定着率に変化がない、またはコンバージョンする可能性が低いという実験結果が出ても、信頼度スコアが95%以上であれば、その結果は有意であると言えます。これにより、実験結果に基づいて、ガイドを継続するか中止するかを確実に決定できます。これは、実験結果の大きさが、時間の経過とともに予想されるコンバージョン率であることを示すものではありません。時間をかけて平均的な成果を決定するには、複数の実験を行って結果を比較したり、ガイド目標の定着率を長期的にモニタリングして、ガイドがユーザーに与えている持続的な影響を追跡したりする必要があります。
統計学者のために、分割検定において、実験グループの結果が、対照グループによって表される帰無仮説よりも確率が高いことを求めたいと考えます。実験グループと対照グループのガイド目標の定着率と分散を求めます。これらの値は、p値を決定する最終的な計算で使用され、その後、帰無仮説が偽である確率を示す最終的な信頼度スコアを決定する計算に使用されます。
pは実験グループと対照グループの分布の差の分布
σは実験グループと対照グループの分散
実験を終了する
実験の停止は手動で行う必要があります。結果が明確な場合は実験を早期に終了できますし、より多くのデータが必要な場合は実験を継続できます。データを見る前にこれを推測するのは困難です。可能であれば、各グループに500人以上の訪問者がいる状態になってから実行してください。
実験を終了するには、以下の手順を実行します。
-
［概要（Summary）］タブの［実験］タイルから、または［実験結果］タブの［結果（Results）］タイルに移動します。
-
［実験終了（End Experiment）］を選択します。
- ［終了して公開継続（End & Keep Public）］または［終了して無効化（End & Disable）］を選択します。
-
- ［終了して公開継続］は、実験中にガイドを受信しなかった対照グループのユーザーと、まだガイドを見ていないすべてのユーザーにガイドを表示します。実験が良好な結果に終わった場合は、このオプションを選択することをお勧めします。
- ［終了して無効化］は、実験を終了し、ガイドを無効にします。ターゲットセグメントのユーザーにはガイドが届かなくなりますが、ガイドリストの［実験結果］タブまたは［実験］タブから実験指標にアクセスできます。
結果を共有する
実験タブ
［ガイドリスト（Guides List）］の［実験］タブから、すべてのPendoユーザーがすべての実験にアクセスできます。［実験］タブには以下が表示されます。
- まだ開始していない場合でも、実験が設定されているガイドの結果の概要が表示されます。
- それぞれの概要には、ガイド目標とガイドへのリンクがあります。
以下のようなことに活用できます：
- このページの概要を、実験ステータスや最新から最古への降順にフィルタリングする
- ガイドを削除して、実験の概要を［実験］タブから削除する
実験結果ダッシュボードウィジェット
実験概要はダッシュボードウィジェットとして追加でき、サブスクリプション内で他のPendoユーザーとダッシュボードを共有する際に共有できます。
［ガイドリスト］の［実験］タブまたは［ガイドの詳細］の［実験結果］タブにある実験結果の概要から、ダッシュボードに実験結果を追加します。
-
［実験結果］の概要で省略記号（...）を選択し、［ダッシュボードに追加（Add to Dashboard）］を選択します。
- 現在使用しているダッシュボードのドロップダウンメニューから、ダッシュボードを選択します。
- ［ダッシュボードに追加］を選択すると、選択したダッシュボードにウィジェットが追加されます。