概要
A/Bテストとは、ある変化や介入の影響を測定するときに使用する実験ツールです。たとえば、新機能を紹介するガイドを表示させることで、より高い割合の訪問者がその機能をクリックするかどうかを確認することができます。このレシピでは、Pendoサンプルグループを使ってA/Bテストを作成する際の考慮点と手順を説明していきます。
材料（必要なもの）
- Pendo管理者権限または次の権限。
- ユーザー権限
- ガイド作成のユーザー権限
- ガイド公開のユーザー権限
方法
このレシピでは、Pendoのサンプルグループ機能を使って、2つのカスタムセグメント（2つのテストグループ）を作成します。セグメントを作成するには、次の手順に従います。
ステップ1. Pendoの[訪問者（Visitors）]セクションに移動します。
ステップ2. サンプルグループで"AND"ルールを使って、適切なテストグループを対象にする2つのセグメントを作成します（"サンプルグループ"の仕組みについてはこちら）。50/50テストを作成するには、次のサンプルグループのルールを使用します。
- セグメント1: サンプルグループは49以下（0～49を含む）
- セグメント2: サンプルグループは50以上（50～99を含む）
ステップ3. Pendoガイドを作成し、作成したばかりのテストグループにセグメントを設定します。
サンプルグループ設定のベストプラクティス
サンプルのサイズが十分に大きいかどうかを判断する方法
サンプルが小さすぎると外れ値が発生しやすくなり、結果としてデータに偏りが生じる可能性があります。グループはできるだけ大きくしましょう。ただし、具体的な数字は訪問者の数、訪問頻度、サイトの滞在時間によって決まります。
グループが均一かどうかを確認する方法
さまざまなタイプの訪問者の属性を分析し、ログインの頻度、イベントの頻度、初回ログインから経過した時間、その他の標準的な行動の平均値を理解することで、グループの範囲が類似していることを確認するよう強くお勧めします。データに偏りを生じさせかねない大きな外れ値（内部アカウント、QAテストボット）がある場合は、除外リスト機能を使用するか、セグメントの条件をさらに追加してそれらの値を除外します。
その後のデータの分析方法
Pendoでは、セグメントのドロップダウンを利用することで、行動、傾向、機能やガイドとのやり取りの比較を支援するさまざまな方法を提供しています。