ガイド対照グループ実験の概要

概要

ガイド実験は、ある行動がガイド介入の結果であるか、それとも他の交錯条件の結果であるかを判断する際に活用します。ユーザー体験を向上させる質の高いガイドを作成するためには、多くの時間、エネルギー、そして努力が必要です。どんなガイドプログラムでも、ユーザーの行動に影響を与えるガイドを優先し、結果をもたらさないガイドを修正または中止することが重要です。ガイド実験は、ガイドコンテンツが実際の行動変化を引き起こすことを確実に示すのに役立ちます。

ガイド対照グループ実験では、ガイドがプロダクトの成果に与える影響を測定し、検証できます。対照実験では、可能な限り他の変数を対象させながら、ひとつの独立変数が母集団全体の予測される結果に与える影響を測定することが目的です。介入によって生じた変化を測定するために、介入を見たグループ(実験グループ)と、外部の影響を受けていない別のグループ(対照グループ)との間で行動を比較する必要があります。

ガイド対照グループ実験においては、ガイドは行動変化に影響を与える独立変数となります。予測される結果は、ガイドを見た後に訪問者が利用すると思われるフィーチャー、ページ、またはトラックイベントであり、コンバージョン対象として特定されます。ガイドの対象セグメントは、実験の母集団です。アクティブ実験では、対象となる訪問者がガイドをトリガーすると、無作為に実験グループに振り分けられ、ガイドが表示されるか、コントロールグループに振り分けられガイドが表示されないかのどちらかになります。Pendoは、訪問者がどのグループにいるかを自動的に追跡し、実験開始後の行動を監視します。この実験では、実験グループとコントロールグループのコンバージョン率を追跡します。効果的なガイドであれば、実験グループの方がコントロールグループと比べて高いコンバージョン率を示します

 

Splash.png

 

要件

  • Pendoガイドコンテンツ編集者、またはガイドコンテンツ作成者のユーザーの役割
  • Web Agent 2.87.1以降
  • モバイルSDK 2.8.0以降
  • ProもしくはEnterprise- Pendoサブスクリプションプラン

実験の実施方法

よい実験はすべて仮説から始まります。多くの場合、ガイドを公開するのは、ユーザーに何かをしてもらいたいからです。新機能の発表は、ユーザーにその機能を試すように促すことになります。マーケティングガイドは新規のサブスクリプションを増やそうとしています。セルフヘルプガイドは、ワークフローを継続するための正しい方向をユーザーに示すものです。

基本的な仮説は、「もし『当社プロダクト』についてユーザーに伝えるガイドを公開すれば、ユーザーは『当社プロダクト』に関心を持つ可能性が高くなり、使用率の低さや使用しないことに関連する結果が改善される」というものです。実験対象の選択、使用頻度の増加による結果の予測、およびガイドコンテンツの設計は、お客様の裁量に任されています。Pendoを使って対照グループ実験を行い、ガイドがユーザーの行動を変えたかどうかを測定します。

対照グループ実験は、主に3つのステップで構成されています。

  1. コンバージョン対象の設定
  2. 対照グループと通知時間の設定
  3. 結果をレビューしてアクションを実行

ガイドコンバージョンを設定する

コンバージョンでは、ガイドを見た後にコンバージョン対象にアクセスしたユーザーの数を追跡します。コンバージョン対象は、ガイドを見た後にユーザーがアクセスすると予想されるフィーチャー、ページ、またはトラックイベントです。これがガイドの成功基準となります。効果的なガイドは、ガイドがない場合と比べて、より多くのユーザーがコンバージョンすることにつながります。[ガイドの詳細(Guide Details)]ページ[コンバージョン(Conversion)]タイルでコンバージョン対象を選択します。コンバージョンは実験とは独立して設定することができ、実験を行わずにガイド分析を行う場合に便利です。

 

1. [ガイドの詳細]ページで、[コンバージョン]タイルを見つけ[編集(Edit)]をクリックします。

conversion_blank.png

 

2. コンバージョンタイプを定義し、対象を選択します。

ConversionTarget.png

コンバージョンには、タグ付けされたフィーチャー、ページ、またはトラックイベントが使用できます。

ConversionDropdown.png

ターゲットのドロップダウンメニューには、コンバージョンの選択に対応する、現在のアプリのすべてのタグ付けされたフィーチャー、ページ、またはトラックイベントのリストが読み込まれます。

SelectTarget.png

 

3. [保存(Save)]をクリックして、コンバージョン対象を設定します。

Save.png

SavedConversion.png

 

実験を設定する

[実験(Experiment)]タイルは、ガイドを見た実験グループと、ガイドを見ていない対照グループとの間でガイドがどれだけ効果的にユーザーの行動に影響を与えるかを測定する対照グループ実験の設定に使用します。実験の設定は、他のガイドの詳細が設定された後に行う必要があります。コンバージョンは実験の設定に先立って必要とされますが、セグメントは実験全体の母集団のサイズを把握するためにも重要です。[実験]タイルは、[ガイドの詳細]ページにあります。

 

1. [ガイドの詳細]ページで、[実験]タイルを見つけ[+実験を作成(+ Create Experiment)]をクリックします。

CreateExperiment.png

 

2. 実験フォローアップ通知時間実験グループサイズを設定します。

ExperimentSetup.png

フォローアップ通知は、有効期限が切れるとPendoにアラートを表示し、実験の結果を確認するよう促します。実験の停止は手動で行う必要があります。結果が明確な場合は、実験を早期に終了するか、より多くのデータが必要な場合は実験を継続することができます。データを見る前にこれを推測するのは困難です。

[実験グループサイズ(Experiment Group Size)]では、ガイドが表示される対象セグメントの割合を設定し、逆にガイドが表示されない対照グループのサイズを設定します。実験終了後、対照グループはガイドを見ることができますので、ご安心ください。

  • 各グループに少なくとも500人の訪問者があり、合計1,000人以上の訪問者を獲得するようにします
  • 一般的に、ガイドのターゲットセグメントの対象となる訪問者によって生成されるサンプルサイズを大きくすると、より多くのデータが生成され、より良い結果が得られます
  • 全体的なサンプル数が少ない実験グループのサイズを増やすと、ガイドを見た後でユーザーがコンバージョンする機会が増えます
  • 統計的に有意な対照グループのサイズを持つことは、ガイドが行動に影響を与えており、コンバージョン率は他の要因の結果ではないと自信を持って言うために重要です

ヒント:大規模な母集団では、非常に大きなサンプルサイズを使用する場合は注意が必要です。サンプルは、結果が偶然に左右されない程度の大きさでなければなりませんが、膨大な量のデータは意味のある結果を示唆するほどの大きさではありません。

  • 何千人もの訪問者が実験に参加した後、実験グループは対照グループより数百多くのコンバージョンを得ることができます
  • 統計的に有意であるように見えても、実験グループと対照グループのコンバージョン率の差が非常に小さい場合、実質的に有意ではない場合があります。つまり、このガイドはユーザーや期待されるビジネス成果に具体的な影響を与えないということです

3. [保存]をクリックして実験内容を保存します。

Save.png

ExperimentReady.png

 

4. ガイドを[公開(Public)]に設定して実験を開始します。

SetGuideExperimentPublic.png

 

結果をレビューする

ガイドが公開されると、実験が自動的に開始されます。[実験結果(Experiment Results)]タブで結果を確認できます。このタブには、実験結果の概要、実験グループと対照グループの経時変化を示すグラフ、およびダウンロード可能な実験データテーブルが表示されます。

満足のいく結果が得られるまで実験を続けてください。信頼度スコアはコンバージョンデータに含まれており、結果の重要性を評価し、実験を終了するタイミングを決定するのに役立ちます。信頼度(Confidence)が95%を超えると、「有意(Significant)」と表示されます。設定したリマインダの有効期限が切れると、フォローアップ通知が送信されます。

Experiment_Results_cropped.png

 

信頼度スコア

信頼度とは、その結果が偶然の産物ではなく、ガイドに基づいたものであるという統計的確率を算出するものです。スコアは、コンバージョン率、分散、および結果の数値を比較し、実験結果が統計的に有意である確率を判定します。実験の信頼度が95%以上に達すると、信頼度の横に「有意」のフラグが付けられます。

これは、結果の大きさが有意であることを意味するものではなく、結果がランダムな偶然によるものではない可能性が高いことを意味しています。例えば、訪問者がコンバージョンする可能性が高い、コンバージョン率に変化がない、またはコンバージョンする可能性が低いという実験結果が出ても、信頼度スコアが95%以上であれば、その結果は有意であると言えます。これにより、実験結果に基づいて、ガイドを継続するか中止するかを確実に決定できます。これは、実験結果の大きさが、時間の経過とともに予想されるコンバージョン率であることを示すものではありません。時間をかけて平均的な成果を決定するには、複数の実験を行って結果を比較したり、コンバージョン率を長期的にモニタリングして、ガイドがユーザーに与えている持続的な影響を追跡する必要があります。

統計学者としては、スプリットテストにおいて、実験群の結果が、対照群によって表される帰無仮説よりも確率が高いことを見いだしたいと考えます。実験群と対照群のコンバージョン率と平方偏差を求めます。これらの値は、p値を決定する最終的な計算に使用され、その後、帰無仮説が偽である確率を示す最終的な信頼スコアを決定する最終的な計算に使用されます。

confidencecalc.png

pは実験グループと対照グループの分布の差の分布

σは実験グループと対照グループの分散

 

実験を終了する

実験の停止は手動で行う必要があります。結果が明確な場合は、実験を早期に終了するか、より多くのデータが必要な場合は実験を継続することができます。データを見る前にこれを推測するのは困難です。可能であれば、各グループに500人以上の訪問者がいる状態になってからにしてください。

[概要(Summary)]タブの[実験]タイル、または[ガイドの詳細]の[実験結果]タブの[結果(Results)]タイル、または[ガイドリスト(Guides List)]の[実験]タブから、実験を終了できます。

[概要]タブの[実験]タイル                            [実験]タブの[結果]タイル

EndExperimentTile.png     EndExperiment.png

 

1. [実験終了(End Experiment)]をクリックします

EndExperimentModal.png

 

2. [終了して公開継続(End & Keep Public)]か、[終了して無効化(End & Disable)]を決定します

  • [終了して公開継続]は、実験中にガイドを受信しなかった対照グループのユーザーと、まだガイドを見ていないすべてのユーザーにガイドを表示します。実験が良好な結果に終わった場合は、このオプションを選択することをお勧めします。
  • [終了して無効化]は、実験を終了し、ガイドを無効にします。ターゲットセグメントのユーザーにはガイドが届かなくなりますが、ガイドリストの[実験結果]タブまたは[実験]タブから実験指標にアクセスできます。

結果を共有する

[実験]タブ

すべての実験は、ガイドリストの[実験]タブからすべてのPendoユーザーがアクセスできます。[実験]タブには、まだ開始していない場合でも、実験が設定されているガイドの結果の概要が表示されます。それぞれの概要には、コンバージョン対象とガイドへのリンクがあります。このページの概要は、実験ステータス最新から古い順にフィルタリングできます。ガイドを削除すると、実験の概要が[実験]タブから削除されます。

Experiments_Tab_cropped.png

 

実験結果ダッシュボードウィジェット

実験概要はダッシュボードウィジェットとして追加でき、サブスクリプション内で他のPendoユーザーとダッシュボードを共有する際に共有できます。

[ガイドリスト]の[実験]タブまたは[ガイドの詳細]の[実験結果]タブにある実験結果の概要から、ダッシュボードに実験結果を追加します。

 

1. [実験結果]の概要のオプションメニューで[ダッシュボードに追加(Add to Dashboard)]をクリックします。

AddtoDashboarddropdown.png

 

2. 現在使用しているダッシュボードのドロップダウンメニューから、[ダッシュボード]を選択します。

AddtoDashboardModal.png

 

3. [ダッシュボードに追加]をクリックすると、選択したダッシュボードにウィジェットが追加されます。

AddtoDashboard.png