Optimizely Intelligence Cloud: Stats Engine을 사용하여 A/B 테스트를 더 스마트하고 빠르게 하는 방법

Optimizely Stats Engine 및 A/B 테스트 전략

비즈니스 테스트 및 학습을 돕기 위해 실험 프로그램을 실행하려는 경우 인텔리전스 클라우드 최적화 – 또는 적어도 그것을 본 적이 있습니다. Optimizely는 게임에서 가장 강력한 도구 중 하나이지만 이러한 도구와 마찬가지로 작동 방식을 이해하지 못하면 잘못 사용할 수 있습니다. 

Optimizely가 강력한 이유는 무엇입니까? 기능 세트의 핵심에는 타사 도구에서 가장 정보에 입각한 직관적인 통계 엔진이 있으므로 결과를 잘못 해석하고 있다는 걱정 없이 중요한 테스트를 실시간으로 실행하는 데 더 집중할 수 있습니다. 

의학에 대한 전통적인 블라인드 연구와 마찬가지로, A / B 테스트 무작위로 다른 것을 보여줄 것입니다 트리 트먼트 사이트를 다른 사용자에게 제공하여 각 치료법의 효능을 비교합니다. 

그런 다음 통계는 해당 치료가 장기적으로 얼마나 효과적인지 추론하는 데 도움이 됩니다. 

대부분의 A/B 테스트 도구는 두 가지 유형의 통계 추론(빈번주의 통계 또는 베이지안 통계) 중 하나에 의존합니다. 각 학교에는 다양한 장단점이 있습니다. 빈도주의 통계는 실험을 실행하기 전에 표본 크기를 고정해야 하며 베이지안 통계는 두 가지 예를 들자면 영향에 대해 단일 수치를 지정하는 것보다 주로 올바른 방향 결정을 내리는 데 중점을 둡니다. Optimizely의 초능력은 오늘날 시장에서 두 세계의 최고 보다 더 전체적인 접근 방식으로 피할 수 있습니다.

최종 결과는? Optimizely를 사용하면 사용자가 실험을 더 빠르고 안정적이며 직관적으로 실행할 수 있습니다.

하지만 이를 최대한 활용하려면 무대 뒤에서 무슨 일이 일어나고 있는지 이해하는 것이 중요합니다. 다음은 전문가처럼 Optimizely의 기능을 사용할 수 있는 5가지 통찰력과 전략입니다.

전략 # 1 : 모든 메트릭이 동일하게 생성되는 것은 아님을 이해하십시오.

대부분의 테스트 도구에서 일반적으로 간과되는 문제는 테스트의 일부로 추가하고 추적하는 메트릭이 많을수록 임의의 기회(통계에서는 "다중 테스트 문제"라고 함)로 인해 잘못된 결론이 나타날 가능성이 더 높다는 것입니다. "). 신뢰할 수 있는 결과를 유지하기 위해 Optimizely는 일련의 제어 및 수정을 사용하여 가능한 한 낮은 확률을 유지합니다. 

이러한 제어 및 수정은 Optimizely에서 테스트를 설정할 때 두 가지 의미를 갖습니다. 먼저, 귀하가 귀하의 기본 측정항목 통계적 의미에 가장 빨리 도달하고 다른 모든 것은 일정합니다. 둘째, 실험에 더 많은 측정항목을 추가할수록 이후 측정항목이 통계적 유의성에 도달하는 데 더 오래 걸립니다.

실험을 계획할 때, 의사 결정 과정에서 어떤 메트릭이 진북이 될 것인지 알고 있는지 확인하고 이를 기본 메트릭으로 만드십시오. 그런 다음 너무 불필요하거나 관련이 없는 항목을 제거하여 나머지 메트릭 목록을 간결하게 유지합니다.

전략 # 2 : 나만의 맞춤 속성 구축

Optimizely는 실험 결과를 분류할 수 있는 흥미롭고 유용한 몇 가지 방법을 제공하는 데 유용합니다. 예를 들어 특정 처리가 데스크톱과 모바일에서 더 잘 수행되는지 여부를 조사하거나 트래픽 소스 간의 차이를 관찰할 수 있습니다. 하지만 실험 프로그램이 성숙해지면서 새로운 세그먼트가 필요하게 될 것입니다. 이는 일회성 및 구독 구매에 대한 세그먼트 또는 "신규 방문자와 재방문자"(이는, 솔직히 말해서, 우리는 여전히 그것이 기본적으로 제공되지 않는 이유를 알 수 없습니다).

좋은 소식은 Optimizely의 Project Javascript 필드를 통해 Optimizely에 익숙한 엔지니어가 방문자를 할당하고 분류할 수 있는 흥미로운 사용자 정의 속성을 원하는 만큼 구축할 수 있다는 것입니다. Cro Metrics에서는 프로젝트 자바스크립트를 통해 모든 고객을 위해 설치하는 많은 스톡 모듈("신규 방문자 vs. 재방문자")을 구축했습니다. 이 능력을 활용하는 것은 실행에 도움이 되는 적절한 기술 리소스를 보유한 성숙한 팀과 실험의 잠재력을 최대한 실현하기 위해 고군분투하는 팀 간의 주요 차별화 요소입니다.

전략 # 3 : Optimizely의 Stats Accelerator 살펴보기

자주 과장된 테스트 도구 기능 중 하나는 실험 과정에서 트래픽이 할당되는 위치를 동적으로 변경하는 기계 학습 알고리즘 유형인 "multi-armed bandits"를 사용하여 최대한 많은 방문자를 "승리"에 보내는 기능입니다. 가능한 한 변형. 다중 무장 도적의 문제는 그 결과가 장기적인 성과에 대한 신뢰할 수 있는 지표가 아니므로 이러한 유형의 실험에 대한 사용 사례는 판촉과 같이 시간에 민감한 경우로 제한된다는 것입니다.

그러나 Optimizely에는 더 높은 계획의 사용자가 사용할 수 있는 다른 유형의 bandit 알고리즘이 있습니다. Stats Accelerator(현재 Bandits 내에서 "Accelerate Learnings" 옵션으로 알려짐). 이 설정에서는 실적이 가장 우수한 변형에 트래픽을 동적으로 할당하는 대신 Optimizely가 통계적 유의성에 가장 빨리 도달할 가능성이 가장 높은 변형에 트래픽을 동적으로 할당합니다. 이러한 방식으로 더 빠르게 학습하고 기존 A/B 테스트 결과의 복제성을 유지할 수 있습니다.

전략 #4: 지표 이름에 이모티콘 추가

언뜻보기에이 아이디어는 아마도 적절하지 않거나 심지어 어리석은 것처럼 들릴 것입니다. 그러나 올바른 실험 결과를 읽고 있는지 확인하는 주요 측면은 청중이 질문을 이해할 수 있는지 확인하는 것에서 시작됩니다. 

때로는 최선의 노력에도 불구하고 측정항목 이름이 혼동될 수 있습니다(잠깐만요. 주문이 수락되거나 사용자가 감사 페이지를 방문할 때 측정항목이 실행되나요?) 또는 실험에 측정항목이 너무 많아 결과를 위아래로 스크롤할 수 있습니다. 페이지는 전체 인지 과부하로 이어집니다.

메트릭 이름에 이모티콘을 추가하면(대상, 녹색 체크 표시, 큰 돈 가방도 작동할 수 있음) 페이지를 훨씬 더 쉽게 스캔할 수 있습니다. 

우리를 믿으십시오. 결과를 읽는 것이 훨씬 쉬워질 것입니다.

전략 # 5 : 귀하의 통계적 유의 수준을 재고하십시오

Optimizely 실험의 맥락에서 결과는 도달했을 때 결정적인 것으로 간주됩니다. 통계 학적으로 유의. 통계적 유의성은 어려운 수학 용어이지만 본질적으로 관찰 결과가 무작위 확률이 아니라 두 모집단 간의 실제 차이의 결과일 확률입니다. 

Optimizely의 보고된 통계적 유의 수준은 이라는 수학적 개념 덕분에 "항상 유효"합니다. 순차 테스트 – 이것은 실제로 너무 빨리 읽으면 모든 종류의 "피킹" 문제가 발생하기 쉬운 다른 테스트 도구보다 훨씬 더 안정적입니다.

테스트 프로그램에 중요하다고 생각하는 통계적 유의성 수준을 고려해 볼 가치가 있습니다. 95%가 과학계의 관례이지만 우리는 백신이 아니라 웹사이트 변경을 테스트하고 있습니다. 실험 세계에서 또 다른 일반적인 선택: 90%. 그러나 더 빠르게 실험을 실행하고 더 많은 아이디어를 테스트하기 위해 더 많은 불확실성을 받아들일 의향이 있습니까? 85% 또는 80%의 통계적 유의성을 사용할 수 있습니까? 위험 보상 균형에 대해 의도적인 것은 시간이 지남에 따라 기하급수적인 배당금을 지불할 수 있으므로 신중하게 생각하십시오.

Optimizely Intelligence Cloud에 대해 자세히 알아보기

이 XNUMX가지 빠른 원칙과 통찰력은 Optimizely를 사용하는 동안 염두에 두는 데 매우 유용합니다. 다른 도구와 마찬가지로 모든 비하인드 사용자 정의를 잘 이해하여 도구를 효율적이고 효과적으로 사용하고 있는지 확인하는 것이 중요합니다. 이러한 이해를 바탕으로 필요할 때 원하는 신뢰할 수 있는 결과를 얻을 수 있습니다. 

당신은 어떻게 생각하십니까?

이 사이트는 Akismet을 사용하여 스팸을 줄입니다. 댓글 데이터 처리 방법 알아보기.