Question 1

A cosa serve un calcolatore di affidabilità statistica?

Accepted Answer

Un calcolatore di affidabilità statistica permette di valutare se la differenza osservata tra due varianti (ad esempio, in un test A/B) è statisticamente significativa o semplicemente dovuta al caso. Vi aiuta a prendere decisioni basate sui dati, identificando la versione più performante con un certo livello di certezza.

Question 2

Un'affidabilità del 95% significa che ho il 95% di probabilità di avere ragione?

Accepted Answer

No. In approccio frequentista, un'affidabilità del 95% fissa il vostro livello di esigenza: se la variante non ha in realtà alcun effetto, il test la dichiara vincente al massimo 5 volte su 100. È il rischio di falso positivo che accettate in partenza. La probabilità di avere ragione dipende anche dalla percentuale delle vostre idee che funzionano realmente, e il calcolo non la fornisce. In approccio bayesiano, il calcolatore mostra direttamente la probabilità che la variante batta il controllo, in base ai dati e al modello.

Question 3

Posso interrompere il mio test non appena raggiungo un buon livello di affidabilità?

Accepted Answer

Con un test classico, no. Se controllate i risultati ogni giorno e interrompete non appena l'affidabilità supera il 95%, moltiplicate i falsi positivi: il rischio reale può raggiungere più volte il 5% indicato. Fissate la durata prima del lancio (la modalità pre-test del calcolatore la calcola per voi) e rispettatela, per almeno due settimane complete. Per monitorare un test in continuo e poterlo interrompere in qualsiasi momento, utilizzate la modalità sequenziale: la sua p-value «always-valid» è pensata proprio per questo.

Question 4

Questo calcolatore funziona per tutti i tipi di test?

Accepted Answer

Questo tipo di calcolatore è generalmente progettato per test A/B classici, dove due varianti vengono confrontate su un obiettivo chiaro (es. tasso di conversione). Per test più complessi (multi-varianti, funnel completo, ecc.), potrebbero essere necessari strumenti specifici o un'analisi più approfondita.

Question 5

Qual è la differenza tra un test frequentista e uno bayesiano?

Accepted Answer

Frequentista: il metodo classico dei test A/B. La p-value misura quanto lo scarto osservato sarebbe sorprendente se la variante non avesse alcun effetto. Non fornisce direttamente la probabilità che la variante sia migliore, da qui una lettura talvolta controintuitiva. Bayesiano: il metodo fornisce direttamente la probabilità che la variante sia migliore del controllo, in base ai dati e a un'ipotesi di partenza (il «prior»). Il risultato si legge più semplicemente, ma non esonera dal fissare la durata del test: controllare i risultati ogni giorno e interrompere non appena la probabilità supera la soglia gonfia anch'esso i falsi positivi. Entrambi gli approcci sono validi e nella maggior parte dei casi giungono alla stessa conclusione su un test ben dimensionato. Il bayesiano è spesso più comprensibile per i non statistici; il frequentista resta il riferimento per controllare il rischio di falso positivo.

Question 6

Cos'è l'MDE (Minimum Detectable Effect) e perché è essenziale in un test A/B?

Accepted Answer

L'MDE, o Minimum Detectable Effect, corrisponde al più piccolo miglioramento che il vostro test è in grado di rilevare in modo affidabile. Ad esempio, se fissate un MDE del 5%, significa che il test potrà identificare una differenza di almeno il 5% tra le varianti, se esiste realmente. Questo parametro è cruciale perché determina la dimensione del campione necessaria per il vostro test. Più piccolo è l'MDE, maggiore sarà il numero di visitatori e conversioni necessari affinché il test possa rilevare una variazione statisticamente significativa. Al contrario, un MDE più elevato ridurrà la durata del test, ma con il rischio di non cogliere piccoli miglioramenti. Scegliere il giusto MDE è quindi un equilibrio tra ambizione e realismo: puntare a effetti troppo piccoli può rendere il test inutilmente lungo o non interpretabile, mentre un MDE troppo ampio rischia di non cogliere guadagni incrementali interessanti. Si consiglia di definirlo in base ai vostri obiettivi di business, al volume di traffico disponibile e all'impatto atteso.

Calcolatore Welyft

Domande frequenti sull'affidabilità statistica nell'A/B testing

Raccontaci di più sul tuo progetto

Calcolatore Welyft

Base statistica dei calcolatori

Domande frequenti sull'affidabilità statistica nell'A/B testing

A cosa serve un calcolatore di affidabilità statistica?−

Un'affidabilità del 95% significa che ho il 95% di probabilità di avere ragione?+

Posso interrompere il mio test non appena raggiungo un buon livello di affidabilità?+

Questo calcolatore funziona per tutti i tipi di test?+

Qual è la differenza tra un test frequentista e uno bayesiano?+

Cos'è l'MDE (Minimum Detectable Effect) e perché è essenziale in un test A/B?+

Raccontaci di più sul tuo progetto