A/Bテストとは、ある変化や介入の影響を測定するときに使用する実験ツールです。たとえば、新しいフィーチャーを紹介するガイドを表示させることで、より高い割合の訪問者がリリース後にそのフィーチャーを使用するかどうかを確認できます。
この記事では、Pendoサンプルグループを使ってA/Bテストを作成する際の考慮点と手順について詳しく説明します。
注： ここで作成したサンプルグループを再利用してA/B/Cテスト（3つのグループ）を実施することも可能ですが、各グループの規模に注意してください。［セグメント（Segment）］ページでセグメントを作成すると、セグメント内のユーザー数を容易に把握できるため、グループをできるだけ均等に保つことができます。
セグメントグループを理解する
Pendoのサンプルグループを使用すると、訪問者のランダムなサブセットをターゲットにしてA/Bテストを実行できます。これらを使用して、さまざまなガイドデザインをテストしたり、ユーザー調査のためにランダムグループをローテーションしたり、実験の対象となる訪問者の数を制限することができます。
［サンプルグループ（Sample Group）］セグメントルールは、訪問者が作成されるときに各訪問者に静的な値（0から99）を割り当てます。これらの値は時間の経過とともにすべての訪問者に均等に分配され、公平なランダム化が確保されます。例えば、ユーザーベースの25%をターゲットにするには、以下のように、［サンプルグループ］、［以上（greater or equal）］、［50］と［サンプルグループ］、［以下（less or equal）］、［74］という2つのルールを使用します。
訪問者に割り当てられたサンプルグループの値は詳細ページで確認できます。これを見つけるには、［ピープル］>［訪問者（Visitors）］に移動し、［訪問者］テーブルから訪問者IDを選択し、［詳細（Details）］セクションを開きます。
セグメントとガイドを作成する
- Pendoで、［ピープル（People）］>［セグメント（Segments）］に移動します。
- サンプルグループで「AND」ルールを使って、適切なテストグループを対象にする2つのセグメントを作成します。50/50テストを作成するには、次のサンプルグループのルールを使用し、セグメント名で1つのセグメントにコントロール（Control）、もう 1 つにテスト（Test）というラベルを付けます。
-
セグメント1. サンプルグループは49以下。これにはグループ0から49が含まれます。
-
セグメント2. サンプルグループは50以上。これにはグループ50から99が含まれます。
-
セグメント1. サンプルグループは49以下。これにはグループ0から49が含まれます。
- ガイドを作成し、セグメントをステップ2で作成したテストセグメントに設定します。次回ユーザーがアプリにアクセスしたときにガイドが自動的に表示されるようにします（自動ガイドを起動する場合は、ガイドのスロットリング設定が適切に設定されていることを確認してください）。
サンプルグループ設定のベストプラクティス
A/Bテストにこれらのサンプルグループを設定する際は、次の推奨事項を考慮してください：
- サンプルサイズが十分に大きいことを確認します。サンプルが小さすぎると外れ値が発生しやすくなり、結果としてデータに偏りが生じる可能性があります。グループはできるだけ大きくしましょう。ただし、具体的な数字は訪問者の数、訪問頻度、サイトの滞在時間によって決まります。
- サンプルグループが均等であることを確認します。さまざまなタイプの訪問者の属性を分析し、ログインの頻度、イベントの頻度、初回ログインから経過した時間、その他の標準的な行動の平均値を理解することで、グループの範囲が類似していることを確認するよう強くお勧めします。データに偏りを生じさせかねない大きな外れ値（社内アカウント、QAテストボットなど）がある場合は、除外リストを使用するか、セグメントの条件をさらに追加してこれらの訪問者やアカウントを除外します。
- データを分析し、監視します。Pendoアナリティクスを使用して、サンプルグループのセグメントでフィルタリングすることで、アクション、トレンド、フィーチャーやガイドとのインタラクションを比較することができます。