- 画像付きのプッシュがテキストのみよりも優れているか
- 「オファーを請求」のようなCTAが「始める」よりも効果的か
- 短い件名が長いものよりも多くの開封を獲得するか
プランの利用可能性
- ProおよびEnterpriseプラン：最大10種類のバリアント
- FreeおよびGrowthプラン：2種類のバリアント
A/Bテストの仕組み
A/Bテストは、ダッシュボードから送信する場合にのみ利用できます。APIでは利用できません。Journeysを使用してA/Bテストを作成するには、Journey分岐ブランチを使用してください。
バリアントのパーセンテージスケーラーを示す画像。
デフォルトでは、オーディエンスの25%がA/Bテストを受け取ります。有効な結果を得るには、各バリアントが十分なユーザーを受け取る必要があります。使用するバリアントが多いほど、テストグループを大きくする必要があります。100%に設定すると、メッセージはオーディエンス内のすべてのユーザーに均等に送信され、残りのユーザーに「勝者」を送信する機能が無効になります。
勝者を選択する
A/Bテストとして送信されたメッセージは、メッセージタブの下でそのように表示されます。各テストのレポートをクリックして、完全なレポートを表示するか、バリアント固有のレポートを表示します。 パフォーマンスを表示して勝者を選択するための統計を提供しています。以下のスクリーンショットは、さまざまな統計を表示して勝利バリアントを選択する方法を説明しています。その後、ターゲットオーディエンスの残りのすべてのメンバーに勝者バリアントを送信します。
A/Bテストレポートから勝者を選択する機能を示す画像。
プラットフォーム固有の手順
- プッシュA/Bテスト
- メールA/Bテスト
プッシュA/Bテストを作成する
- メッセージ > プッシュ > 新規プッシュに移動します
- メッセージに名前を付けます（例：「プッシュABテスト - CTAボタン」）
- セグメントを選択します
- A/Bテストボタンをクリックします
A/Bテストボタンを示す画像
- バリアントを追加する
- バリアントを追加をクリックして、各新しいバージョンを複製および編集します。
- 有意義な洞察を得るために、一度に1つの変数のみを変更してください。
さらにバリアントを追加する方法を示す画像
- A/Bテストの設定
- 2種類のバリアントを持つメッセージの25%は、各バリアントに12.5%を送信します。
- 10種類のバリアントを持つメッセージの25%は、各バリアントに2.5%を送信します。
- 2種類のバリアントを持つメッセージの50%は、各バリアントに25%を送信します。
- 3種類のバリアントを持つメッセージの50%は、各バリアントに16.67%を送信します。
- 2種類のバリアントを持つメッセージの100%は、各バリアントに50%を送信します。
- 4種類のバリアントを持つメッセージの100%は、各バリアントに25%を送信します。
- 結果を確認する
A/Bテストのベストプラクティス
ベンチマークを理解する
テストの成功を有意義に評価できるように、過去のパフォーマンスデータを確認してください。目標と仮説を設定する
テストしている内容と成功の定義を明確に定義してください。一度に1つの変数を変更する
次のような変数を分離して実験を制御します：- 件名
- レイアウト
- CTAコピー
- コピーの長さ
- 画像
- オファー
- 絵文字
- 色
- フォント
- アイコン
- GIF
コントロールを使用する
改善を測定するためのベースラインとして、「通常の」バージョンを含めてください。 ユーザーをランダムにタグ付けしてそのセグメントを除外することで、コントロールグループを作成します。ユーザーデータをエクスポートし、CSV インポートからセグメントを作成できます。同時にテストする
タイミングバイアスを避けるために、すべてのバリアントを同時に送信してください。テストを継続する
結果に基づいて反復し、メッセージのパフォーマンスを継続的に最適化してください。FAQ
異なるセグメントをA/Bテストできますか？
標準のメッセージフォーム内ではできません。ただし、分岐ブランチとYes/Noブランチを使用したJourneysを使用して、異なるセグメントをテストできます。勝者を自動的に選択できますか？
まだできません。勝利バリアントを手動で選択するか、100%を使用してすべてのバリアントを送信する必要があります。完了です！メッセージのさまざまなバリアントをテストして、勝者を選択できるようになりました。
Need help?Chat with our Support team or email
support@onesignal.comPlease include:- Details of the issue you’re experiencing and steps to reproduce if available
- Your OneSignal App ID
- The External ID or Subscription ID if applicable
- The URL to the message you tested in the OneSignal Dashboard if applicable
- Any relevant logs or error messages