- 이미지가 있는 푸시가 텍스트만 있는 것보다 성능이 좋은지
- “혜택 받기”와 같은 CTA가 “시작하기”보다 효과적인지
- 짧은 제목이 긴 제목보다 더 많은 오픈을 얻는지
플랜 가용성
- Pro 및 Enterprise 플랜: 최대 10개 변형
- Free 및 Growth 플랜: 2개 변형
A/B 테스팅 작동 방식
A/B 테스팅은 대시보드를 통해 전송할 때만 사용할 수 있습니다. API에서는 사용할 수 없습니다.Journeys를 사용한 A/B 테스트를 생성하려면 Journey 분할 브랜치를 사용하세요.
변형의 백분율 스케일러를 보여주는 이미지
기본적으로 대상의 25%가 A/B 테스트를 받습니다. 유효한 결과를 얻으려면 각 변형이 충분한 사용자를 받아야 합니다. 사용하는 변형이 많을수록 테스트 그룹이 커야 합니다.100%로 설정하면 메시지가 대상의 모든 사용자에게 균등하게 전송되며 나머지 사용자에게 “우승자”를 보낼 수 있는 기능이 제거됩니다.
우승자 선택
A/B 테스트로 전송된 메시지는 메시지 탭에 그렇게 표시됩니다. 각 테스트의 보고서를 클릭하여 전체 보고서를 보거나 변형별 보고서를 확인하세요. 성능을 확인하고 우승자를 선택할 수 있는 몇 가지 통계를 제공합니다. 아래 스크린샷은 다양한 통계를 보고 우승 변형을 선택하는 방법을 설명합니다. 그런 다음 우승 변형을 대상 대상의 나머지 모든 구성원에게 보냅니다.
A/B 테스트 보고서에서 우승자를 선택하는 기능을 보여주는 이미지
플랫폼별 지침
- 푸시 A/B 테스팅
- 이메일 A/B 테스팅
푸시 A/B 테스트 생성
- 메시지 > 푸시 > 새 푸시로 이동
- 메시지 이름 지정(예: “푸시 AB 테스트 - CTA 버튼”)
- 세그먼트 선택
- A/B 테스트 버튼 클릭
A/B 테스트 버튼을 보여주는 이미지
- 변형 추가
- 변형 추가를 클릭하여 각 새 버전을 복제하고 편집하세요.
- 의미 있는 인사이트를 얻으려면 한 번에 하나의 변수만 변경하세요.
더 많은 변형을 추가하는 방법을 보여주는 이미지
- A/B 테스트 설정
- 2개 변형이 있는 메시지의 25%는 각 변형에 12.5%를 전송합니다.
- 10개 변형이 있는 메시지의 25%는 각 변형에 2.5%를 전송합니다.
- 2개 변형이 있는 메시지의 50%는 각 변형에 25%를 전송합니다.
- 3개 변형이 있는 메시지의 50%는 각 변형에 16.67%를 전송합니다.
- 2개 변형이 있는 메시지의 100%는 각 변형에 50%를 전송합니다.
- 4개 변형이 있는 메시지의 100%는 각 변형에 25%를 전송합니다.
- 결과 검토
A/B 테스팅 모범 사례
벤치마크 이해
과거 성능 데이터를 검토하여 테스트 성공을 의미 있게 평가할 수 있습니다.목표 및 가설 설정
테스트하는 내용과 성공의 모습을 명확하게 정의하세요.한 번에 하나의 변수 변경
다음과 같은 변수를 분리하여 실험을 제어하세요:- 제목 줄
- 레이아웃
- CTA 카피
- 카피 길이
- 이미지
- 제안
- 이모지
- 색상
- 글꼴
- 아이콘
- GIF
대조군 사용
개선을 측정하기 위한 기준선으로 “일반적인” 버전을 포함하세요. 사용자를 무작위로 태그하고 해당 세그먼트를 제외하여 대조군을 생성하세요. 사용자 데이터 내보내기를 하고 CSV 가져오기에서 세그먼트를 생성할 수 있습니다.동시에 테스트
타이밍 편향을 피하기 위해 모든 변형을 동시에 전송하세요.계속 테스팅
결과를 기반으로 반복하여 메시지 성능을 지속적으로 최적화하세요.FAQ
다른 세그먼트를 A/B 테스트할 수 있나요?
표준 메시지 양식 내에서는 불가능합니다. 그러나 분할 브랜치 및 Yes/No 브랜치가 있는 Journeys를 사용하여 다른 세그먼트를 테스트할 수 있습니다.우승자를 자동으로 선택할 수 있나요?
아직은 아닙니다. 우승 변형을 수동으로 선택하거나 100%를 사용하여 모든 변형을 전송해야 합니다.완료되었습니다! 이제 메시지의 다양한 변형을 테스트하고 우승자를 선택할 수 있습니다.
도움이 필요하신가요?지원 팀과 채팅하거나
support@onesignal.com으로 이메일을 보내주세요.다음을 포함해 주세요:- 발생한 문제의 세부 정보 및 재현 단계(가능한 경우)
- OneSignal 앱 ID
- External ID 또는 Subscription ID(해당하는 경우)
- OneSignal 대시보드에서 테스트한 메시지의 URL(해당하는 경우)
- 관련 로그 또는 오류 메시지