A/Bテストとは、ある変化や介入の影響を測定するときに使用する実験ツールです。たとえば、新しいフィーチャーを紹介するガイドを表示させることで、より高い割合の訪問者がリリース後にそのフィーチャーを使用するかどうかを確認できます。
この記事では、Pendoサンプルグループを使ってA/Bテストを作成する際の考慮点と手順について詳しく説明します。サンプルグループの詳細については、セグメントのサンプルグループを参照してください。
注： ここで作成したサンプルグループを再利用してA/B/Cテスト（3つのグループ）を実施することも可能ですが、各グループの規模に注意してください。［セグメント（Segment）］ページでセグメントを作成すると、セグメント内のユーザー数を容易に把握できるため、グループをできるだけ均等に保つことができます。
セグメントとガイドを作成する
- Pendoで、［ピープル（People）］>［セグメント（Segments）］に移動します。
- サンプルグループで「AND」ルールを使って、適切なテストグループを対象にする2つのセグメントを作成します。50/50テストを作成するには、次のサンプルグループのルールを使用し、セグメント名で1つのセグメントにコントロール（Control）、もう 1 つにテスト（Test）というラベルを付けます。
-
セグメント1. サンプルグループは49以下。これにはグループ0から49が含まれます。
-
セグメント2. サンプルグループは50以上。これにはグループ50から99が含まれます。
-
セグメント1. サンプルグループは49以下。これにはグループ0から49が含まれます。
- ガイドを作成し、セグメントをステップ2で作成したテストセグメントに設定します。次回ユーザーがアプリにアクセスしたときにガイドが自動的に表示されるようにします（自動ガイドを起動する場合は、ガイドのスロットリング設定が適切に設定されていることを確認してください）。
サンプルグループ設定のベストプラクティス
A/Bテストにこれらのサンプルグループを設定する際は、次の推奨事項を考慮してください：
- サンプルサイズが十分に大きいことを確認します。サンプルが小さすぎると外れ値が発生しやすくなり、結果としてデータに偏りが生じる可能性があります。グループはできるだけ大きくしましょう。ただし、具体的な数字は訪問者の数、訪問頻度、サイトの滞在時間によって決まります。
- サンプルグループが均等であることを確認します。さまざまなタイプの訪問者の属性を分析し、ログインの頻度、イベントの頻度、初回ログインから経過した時間、その他の標準的な行動の平均値を理解することで、グループの範囲が類似していることを確認するよう強くお勧めします。データに偏りを生じさせかねない大きな外れ値（社内アカウント、QAテストボットなど）がある場合は、除外リストを使用するか、セグメントの条件をさらに追加してこれらの訪問者やアカウントを除外します。
- データを分析し、監視します。Pendoアナリティクスを使用して、サンプルグループのセグメントでフィルタリングすることで、アクション、トレンド、フィーチャーやガイドとのインタラクションを比較することができます。 アナリティクスの詳細はこちらを参照してください。