Rich-text Reply
This is an open group. Sign in and click the "Join Group" button to become a group member and start posting.
This is an open group. To become a member and stay up to date on future events, visit the Group Homepage and click the “Join Group” button"
Highlighted

Berekende sample size verschilt sterk per tool

Mila-Witjes 06-26-15
Rich-text Reply
0 Likes
Berekende sample size verschilt sterk per tool
[ Edited ]

TIjdens de eerste user group bijeenkomst, die ik heel leerzaam vond, gaf de spreker van Marktplaats aan om testsignificance.com te gebruiken om te bepalen hoeveel deelnemers zouden moeten worden getest. Wat mij opvalt is de resultaten van deze, en andere online tools sterk verschillen. Om ze te vergelijken vul ik als huidige conversieratio 5% met een betrouwbaarheid van 95%. De verwachte nieuwe conversieratio is 6% (20% verschil). Dit zijn de resultaten:

 

Cardinal path

2813 deelnemers per variant

 

testsignificance.com:

3991 deelnemers per variant

 

Optimizely calculator

5568 deelnemers per variant

 

VWO calculator

7600 deelnemers per variant

 

Evan's Awesome A/B Tools

7663 deelnemers per variant

 

Alleen de VWO calculator en Evan's tool komen redelijk overeen. Ik heb zelf niet genoeg kennis van statistiek om te bepalen welke tool de juiste resultaten geeft. Kan iemand uitleggen waarom deze zo verschillen en welke ik het beste kan gebruiken?

Rich-text Reply
0 Likes
tobyurff 07-15-15
 
Rich-text Reply
0 Likes
Re: Berekende sample size verschilt sterk per tool

Hi Mila,

 

Ten eerste, mijn excuses dat je zo lang hebt moeten wachten op een antwoord. Het is erg cool om de actieve gemeenschap achter Optiverse te zien, maar de Nederlandse User Group is nog maar net begonnen.

 

Als je Optimizely voor jouw experiment gebruikt en wanneer je naar de resultaten kijkt, hoef je de steekproef helemaal niet vooraf te berekenen. Dit is één van de unieke voordelen van onze Stats Engine methode. Het werkt intuïtief voor niet-statistici, je kan op elk moment de resultaten bekijken en we zijn goed voor een verscheidenheid van andere dingen, zoals hoeveel goals je toegevoegd, hoeveel variaties jouw test heeft, of er tijdelijke fluctuaties tijdens het experiment plaatsvinden. Als je geïnteresseerd ben in de details, bekijk de video / blog post op https://www.optimizely.com/statistics/.

 

Je kan onze calculator gebruiken om een schatting te krijgen van hoeveel bezoekers je nodig hebt voor een experiment, maar dit zal niet altijd overeenkomen met wanneer je een winnaar in Optimizely ziet – bij het berekenen van het werkelijke resultaat en tonen van een winnaar, houden we rekening met dingen die alleen duidelijk zijn wanneer de test bezig is (b.v. hoeveel doelen en variaties jij draait en sterke schommelingen tijdens het experiment).

 

Er zijn meerdere redenen waarom verschillende calculators verschillende resultaten aangeven, maar aangezien je hebt aangegeven dat je niet zo thuis bent in statistiek, zal ik je de details besparen. Smiley Happy

 

Laat het maar weten als je nog meer vragen hebt!

 

Thanks,
Toby

Optimizely
Rich-text Reply
0 Likes
About This Group
Join this group to network with local optimization enthusiasts in the Netherlands and Belgium. Stay up to date on upcoming events and read updates from past presentations.
EVENTS
GROUP STATS
MEMBERS 11
TOTAL POSTS 2
LATEST POST 07-15-15