ガイド付きA/Bテスト

A/Bテストは、アプリ内で2つの異なるガイド体験を比較し、特定の目標に対してどちらがより良い結果をもたらすかを確認するための実験の一種です。同じ実験でアクティベーション方法と表示方法のバリエーションをテストできます。

ユースケース

各実験では、共通のコンバージョン目標に対して2つのバリエーション（ガイドありとガイドなし、またはガイドとガイド）を比較します。

ユースケースには、以下のようなものがあります。

• エンゲージメントを高めるために、さまざまな見出しやレイアウトをテストする。
• 組み込み型とオーバーレイ型の提供を比較する。
• 同じメッセージに対して異なるアクティベーションスタイルを使用する。

いったん有効化されると、この効果測定は各ガイドのステータス、スケジュール、セグメントを制御します。コンバージョン率の高いガイドが勝者とみなされますが、どのガイドを昇格させるかは手動で選べます。

前提条件

ガイドの効果測定を使用する前に、以下の条件を満たす必要があります。

• Guides ProはPendoのサブスクリプションに含まれています。
• ユーザーの役割に割り当てられているガイド作成者またはコンテンツ編集者の権限。

ステップ1. 効果測定を設定する

［効果測定］ページまたはテストしたいガイドの詳細ページから新しい実験を作成できます。各実験には2つのバリアントが含まれており、各ガイドはあなたが定義した設定を継承します。

注：ガイドは一度に一つの効果測定にしか含められません。両方のガイドが同じアプリケーションに属している必要があります。トラッキングを拒否した訪問者に表示されるガイドは効果測定に追加できません。

実験がドラフト状態の間、選択したガイドのコンテンツ、アクティベーション、ローカライゼーションを編集できます。実験を有効にすると、両方のガイドが読み取り専用になり、実験の設定を継承します。

• ステータスが［公開］に変更されます。
• セグメントは効果測定によって定義されます。
• スケジュールは効果測定期間によって設定されます。

効果測定ページから効果測定を作成する

1. ［ガイド］>［実験］に移動し、［実験を作成］を選択します。
2. Aの下から［+ 追加］を選択し、次のオプションのいずれかを選択します。
   
   
    
   • 既存のガイドを選択します。
   • 既存のガイドから複製し、複製して変更するガイドを1つ選択します。
   • 新しいガイドを作成します。ガイドを作成したら、ガイドの詳細ページから［実験を開始］を選択して効果測定に戻ります。
   • 「ガイドなし」グループを追加して、1つのガイドのみをテストします。
3. 同じ手順を繰り返し、Bの下にある2つ目のガイドを選択します。
4. 次のセクションに進んで 効果測定設定を構成します。

ガイドの詳細ページから効果測定を作成する

1. テストするガイドの詳細ページを開きます。
2. ［効果測定に追加］を選択します。このガイドはバリアントAになります。
   
   
   
3. Bの下から［+ 追加］を選択し、次のオプションのいずれかを選択します。
   
   
    
   • 既存のガイドを追加し、リストから選択します。
   • 既存のガイドから複製し、複製して変更するガイドを1つ選択します。
   • 新しいガイドを作成し、オーバーレイか埋め込みを選択します。ガイドを作成したら、ガイドの詳細ページから［実験を開始］を選択して効果測定に戻ります。
   • 「ガイドなし」グループを追加して、1つのガイドのみをテストします。
4. 次のセクションに進んで 効果測定設定を構成します。

ステップ2. 実験設定を構成

A/Bテスト設定パネルを使用して、テストの仕組みと測定したい結果を定義します。

1. ［A/Bテスト］セクションの上部で、［編集］を選択します。また、[ +コンバージョン指標を追加] を選択して、同じメニューを開くことができます。
   
   
    

2. 最初のドロップダウンメニューからコンバージョン指標を選択して、成功をどのように測定するかを選択します。これは、ページビュー、フィーチャークリック、トラックイベントなど、追跡するイベントの種類を定義します。例えば、カート放棄メッセージをテストする場合、指標としては購入ボタンのクリック数などが考えられます。

3. 2つ目のドロップダウンから追跡するイベントを選択します。表示されるオプションは、上記で選択したイベントの種類によって異なります。

4. アトリビューションウィンドウを定義します。これにより、最初のガイドビュー後にコンバージョンを追跡する日数をPendoに指示します。最大は14日間です。

5. 訪問者のセグメントを選択して、オーディエンスを決定します。作成の手助けが必要な場合は、セグメントを参照してください。

6. 配信を調整して、各ガイドを表示する訪問者の割合を制御します。デフォルトは50/50の分割です。

7. スケジューリングを使用して実験時間を設定します。これにより、実験が自動的に終了するまでの時間が決まります。最大期間は3か月です。

8. 実験が終了したときにガイドに何が起こるかを選択します。

   • ガイドを公開のままにする : 実験はデータの収集を停止します。両方のガイドはそれぞれのセグメントで引き続き公開され、［要確認］に移動されます。ガイドは、勝者を昇格させるか、実験を手動で［完了］とマークして両方のガイドをオフにするまでアクティブなままです。
   • ガイドをオフにする：実験はデータ収集を停止し、自動的に［完了］に移行し、両方のガイドを即座にオフにします。

9. 設定を確認して適用するには、［保存］を選択します。
   
   

コントロールされたロールアウトを使用する（オプション）

ロールアウトを使って、効果測定を目にする訪問者数を徐々に増やすことができます。

1. ［A/Bテスト］セクションで「ロールアウトを追加」を選択します。
   
   
    
2. スライダーやテキストフィールドを使ってロールアウトの割合を設定してください。例えば、10％から始めて、時間をかけて増やします。効果測定がドラフト中またはアクティブ中の場合にロールアウト設定を調整できます。

ステップ3. 効果測定を実施

実験の設定が完了したら、実験を開始する準備が整います。

効果測定を有効化する

データ収集を開始するには、効果測定ステータスを［アクティブ］に変更してください。このアクションにより、両方のガイドが［公開］に設定され、効果測定セグメントに公開されます。

注：効果測定中はガイドを編集できません。変更を行うには、効果測定のステータスを［完了］に切り替えてください。

効果測定を完了する

効果測定は、期間が満了するか、手動でステータスを［完了］に設定すると終了します。

実験が完了したら：

• 両方のガイドは自動的に［非アクティブ］に設定されます。
• 実験の終了間際にガイドを閲覧した訪問者については、まだアトリビューション期間内にいるため、引き続きデータが処理される可能性があります。
• ガイドは効果測定から解放され、再び編集可能になります。他の効果測定に加えることもできます。

ステップ4. 勝者となるガイドを決定する

効果測定が開始されると、Pendoはコンバージョンデータの収集を開始します。どのガイドが最も効果的だったかを判断する前に、効果測定が完了するまで待つことをお勧めします。

コンバージョン率は、ガイドを閲覧した後に対象イベントを完了した訪問者の割合です。計算は次のように行われます。

\[ Conversion Rate = 100 \times \frac{Visitors Who Completed Event}{Visitors Who Viewed Guide} \]

必要に応じて、ページの右上隅にある省略記号（...）を使用し、［結果をダウンロード（.csv）］を選択して、詳細な結果をCSVとしてエクスポートします。

コンバージョン率の高いガイドを昇格（公開）するか、手動で別のガイドを選択することができます。訪問者に引き続き見せたいガイドを公開するには：

1. ガイドの横の［昇格］を選択してください。
2. 元のセグメントを使うか、新しいセグメントを定義するかを選びます。
3. ［昇格］を選択すると、選択したガイドが公開され、他のガイドは非公開になります。

実験からセグメントを作成する

実験で特定のバリアントを見た訪問者に基づいてセグメントを作成することができます。これにより、行動や成果を他の指標と比較することができます。

注： 実験参加に基づくセグメントはガイドのターゲティングには使用できません。

バリアントAまたはBのセグメントを作成するには：

1. 左側のメニューから、［ピープル］>［セグメント］に移動し、 ［セグメントを作成］を選択します。
2. セグメントの名前を入力します。
3. ルールビルダーで、フィルターとして［ガイドでのインタラクション ］> ［実験］を選択します。
4. プロンプトが表示されたら、該当するアプリを選択してください（例：すべてのアプリ）。
5. リストから実験を選択します。アクティブまたは完了した実験のみが表示されます。
6. バリアントAが見られた か バリアントBが見られたかを選択します。
7. 必要に応じて追加のルールを追加します。
8. ［セグメントを作成］を選択します。

このセグメントをデータエクスプローラなどのフィルターやレポートに適用して、バリアントのパフォーマンスを比較できるようになりました。

効果測定を管理する

必要に応じて効果測定を閲覧、更新、削除することができます。

効果測定を表示する

既存のすべての効果測定を見るには、［ガイド］>［実験］に移動します。

効果測定でガイドを編集する

効果測定がドラフト状態の間は、ガイドを編集または置き換えることができます。

• ガイドを編集するには、A または B の下にカーソルを合わせて、［ガイドを編集］を選択します。これにより、ガイドの詳細ページが新しいブラウザタブで開きます。
  
  
  
• ガイドを置き換えるには、AまたはBの下にあるガイドの上にカーソルを移動し、［置き換え］を選択して置き換え方法を選択します。
  
  
  
• 両方のガイドを削除するには、ページ右上の省略記号（...）を使い、［バリアントをクリア］」を選択してください。
  
  

効果測定を削除する

効果測定を永久に削除するには：

1. ［ガイド］>［実験］にアクセスします。
2. 削除したい効果測定を見つけてください。
3. ページの右上隅にある省略記号（...）を選択し、［効果測定を削除］を選択します。
   
   

信頼度スコアを理解する

信頼性は、実験の結果がランダムな偶然ではなく、ガイドの直接的な結果であるという統計的確率を計算します。このスコアは、訪問者グループ間でコンバージョン率、分散、サンプルサイズを比較することに基づいています。

効果測定の信頼度スコアが95％以上になると「有意」と表示され、統計的に意味のある結果が得られたことを示します。

信頼度スコアを見るには、効果測定の概要で結果にカーソルを合わせます。

高い信頼性スコアが意味するもの

信頼度スコアが95％以上であれば、結果の差が偶然によるものである可能性は低いことを示唆しています。しかし、それは結果の大きさを示すものではなく、観察された差が統計的に有効であることを示しているにすぎません。これは、ガイドの表示を継続するか停止するかを判断するための統計的な根拠となります。これは将来のコンバージョン率の予測ではありません。

統計的説明

スプリットテストの目的は、帰無仮説に基づいて、一方のバリアントの結果が偶然に期待されるよりも高い確率で発生するかどうかを判断することです。

Pendoは以下を計算します。

• 各バリアントのコンバージョン率と分散。
• その結果得られるp値は、観測される差が偶然によるものである確率を測ります。

信頼スコアはp値から導かれます。これは、結果が偶然に起こったのではなく、ガイドが違いをもたらした可能性がどれくらいあるかを示します。

数式参照

信頼度スコアは、標準正規分布の累積分布関数（CDF）に基づいて算出されます。

\[ Confidence = 0.5 \times [1 + erf(\frac{z}{2})] \]

この式では、

• zはzスコアであり、観測された差が偶然に期待される差と比べてどれほど極端であるかを表します。
• erfは誤差関数であり、正規分布曲線の下の面積を計算するために使用されます。

この式は、zスコアを0から1の間の確率に変換し、結果が統計的に有意である可能性を示します。

信頼スコアが0.95以上の場合、ガイドがランダムな変動ではなく、実際の効果をもたらした可能性が95％以上あることを意味します。