レシピ:Pendoを使ってA/Bテストを設定する

最終更新日:

概要

A/Bテストとは、ある変化や介入の影響を測定するときに使用する実験ツールです。たとえば、新機能を紹介するガイドを表示させることで、より高い割合の訪問者がその機能をクリックするかどうかを確認することができます。このレシピでは、Pendoサンプルグループを使ってA/Bテストを作成する際の考慮点と手順を説明していきます。

注:このレシピのサンプルグループを再利用してA/B/Cテスト(3つのグループ)を実施することも可能ですが、グループの規模に注意してください。[訪問者(Visitor)]ページでセグメントを作成すると、セグメント内のユーザー数を容易に把握できるため、グループをできるだけ均等に保つことができます。

材料(必要なもの)

  • Pendo管理者権限または次の権限。
    • ユーザー権限
    • ガイド作成のユーザー権限
    • ガイド公開のユーザー権限

方法

このレシピでは、Pendoのサンプルグループ機能を使って、2つのカスタムセグメント(2つのテストグループ)を作成します。セグメントを作成するには、次の手順に従います。

ステップ1. Pendoの[訪問者(Visitors)]セクションに移動します。

ステップ2. サンプルグループで"AND"ルールを使って、適切なテストグループを対象にする2つのセグメントを作成します("サンプルグループ"の仕組みについてはこちら)。50/50テストを作成するには、次のサンプルグループのルールを使用します。

  • セグメント1: サンプルグループは49以下(0~49を含む)
  • セグメント2: サンプルグループは50以上(50~99を含む)

sample-segment.png

ヒント:セグメントにそれぞれ(コントロール)、(テスト)という名前を付けます。コントロールグループには、特定の機能を紹介するガイドを配布せず、テストグループには配布します。

ステップ3Pendoガイドを作成し、作成したばかりのテストグループにセグメントを設定します。

注:ガイドをリリースする際、次回ユーザーがアプリを開いているときにガイドが自動的に表示されるようにする必要があります(自動ガイドをリリースする場合は、必ずガイドのスロットリング設定を適切に更新してください。

サンプルグループ設定のベストプラクティス

サンプルのサイズが十分に大きいかどうかを判断する方法

サンプルが小さすぎると外れ値が発生しやすくなり、結果としてデータに偏りが生じる可能性があります。グループはできるだけ大きくしましょう。ただし、具体的な数字は訪問者の数、訪問頻度、サイトの滞在時間によって決まります。

グループが均一かどうかを確認する方法

さまざまなタイプの訪問者の属性を分析し、ログインの頻度、イベントの頻度、初回ログインから経過した時間、その他の標準的な行動の平均値を理解することで、グループの範囲が類似していることを確認するよう強くお勧めします。データに偏りを生じさせかねない大きな外れ値(内部アカウント、QAテストボット)がある場合は、除外リスト機能を使用するか、セグメントの条件をさらに追加してそれらの値を除外します。

その後のデータの分析方法

Pendoでは、セグメントのドロップダウンを利用することで、行動、傾向、機能やガイドとのやり取りの比較を支援するさまざまな方法を提供しています。

すべての分析オプションについて詳しくはこちら

 
この記事は役に立ちましたか?
7人中5人がこの記事が役に立ったと言っています