Frequentist

Approccio statistico che consiste nello stimare i parametri di un modello (media, tasso di conversione, ecc.) esclusivamente a partire dai dati osservati, senza utilizzare informazioni a priori. Si basa su concetti come l’ipotesi nulla, i test di significatività, i p-value e gli intervalli di confidenza, e costituisce l’approccio tradizionale dell’analisi statistica.

In A/B testing e CRO:

L’approccio frequentista è storicamente utilizzato in molti calcolatori di confidenza per l’A/B testing per determinare se una variazione produce un effetto significativo o meno.

Cerca di rispondere alla domanda:

“Se la variazione testata non ha alcun effetto reale, qual è la probabilità di ottenere un tale risultato per caso?”

Ma questo approccio si basa su vincoli importanti:

• Dimensione del campione sufficiente,
• Durata del test rispettata (rischi legati all’interruzione anticipata),
• Interpretazione tecnica dei risultati (p-value ≠ probabilità che B sia migliore).

Limiti in un contesto CRO:

• Test spesso più lunghi a causa della necessità di raggiungere una dimensione del campione predefinita,
• Meno intuitivo per i team non tecnici,
• Più sensibile a errori di interpretazione o a pratiche rischiose come il p-hacking,
• Non fornisce direttamente la probabilità che una variazione sia migliore.

Tendenza attuale: passaggio all’approccio bayesiano

Nel settore del CRO, l’approccio frequentista è sempre più abbandonato a favore della statistica bayesiana, che:

• fornisce risultati sfruttabili più rapidamente,
• si adatta dinamicamente alla dimensione del campione,
• permette di stimare direttamente la probabilità che una variazione sovraperformi,
• facilita il processo decisionale per i team prodotto e marketing.

Piattaforme come VWO, Convert, Optimizely (nuova versione) o AB Tasty (modalità bayesiana) integrano ormai motori statistici bayesiani per accelerare l'analisi e ridurre gli errori di interpretazione.