Se sei Data Analyst, Product Manager o Growth Marketer, forse hai già vissuto questa situazione: lanci un A/B test promettente e aspetti settimane per ottenere risultati… che alla fine si rivelano non significativi. O peggio, osservi numeri che sembrano piatti con un metodo di calcolo ma che diventano improvvisamente significativi cambiando approccio statistico. Nel frattempo, perdi potenzialmente conversioni preziose, oppure lasci che una variante sottoperformante deteriori il tuo fatturato.
Oggi, la maggior parte degli strumenti di A/B Test sul mercato (come Kameleoon, AB Tasty, VWO o Optimizely) propone un approccio bayesiano in aggiunta al classico metodo frequentista; alcuni hanno addirittura fatto il percorso inverso, come AB Tasty, che era esclusivamente bayesiano prima di reintegrare il frequentista nei suoi report. Ma perché queste evoluzioni? Da Welyft, in quanto agenzia esperta in CRO, notiamo spesso che i team faticano a giustificare la scelta di un metodo statistico rispetto a un altro.
In questo articolo, non vi sommergeremo di formule matematiche. Il nostro obiettivo è aiutarvi a comprendere le meccaniche dei due metodi per scegliere meglio quello più adatto al vostro contesto, al vostro traffico e ai vostri obiettivi di business.
Cosa differenzia veramente l'approccio frequentista dall'approccio bayesiano?
Per capire bene cosa è in gioco, bisogna cogliere la filosofia dietro le due grandi scuole statistiche.
L'approccio "Frequentista"
Il metodo frequentista è l'approccio tradizionale, quello che si impara a scuola. Prende il nome dal concetto di "frequenza", dove la probabilità di un evento corrisponde alla frequenza con cui si verifica se si ripetesse l'esperimento all'infinito.
In un A/B Test, si "ragiona al contrario". Il metodo parte da un principio chiamato "ipotesi nulla". Ciò significa che si postula che non ci sia assolutamente alcuna differenza tra la versione A (detta "originale" o "controllo") e la versione B (variazione). Il suo scopo è poi accumulare un volume di dati predefinito per dimostrare che questa ipotesi è falsa, e quindi dimostrare che il cambiamento apportato è statisticamente significativo. Niente paura, questo calcolo non si fa a mano, esistono numerosi strumenti per questo e abbiamo elencato i migliori calcolatori in questo articolo dedicato.
I suoi indicatori chiave sono il p-value (che misura la probabilità che la differenza osservata sia dovuta al caso) e l'intervallo di confidenza (che significa che se ripeteste questo test numerose volte, il 90% di questi intervalli conterrebbe il vero guadagno). È in definitiva un metodo binario: o la differenza osservata è una semplice coincidenza, oppure è validata.
L'analogia del tribunale: È come un processo. La versione B è "innocente" da qualsiasi superiorità finché non avete accumulato una pila di prove sufficiente a dimostrare il contrario.
L'approccio "Bayesiano"
L'approccio bayesiano (dal teorema del matematico britannico Thomas Bayes) funziona come un essere umano di fronte a una decisione. Integra le conoscenze esistenti e aggiorna le sue probabilità in tempo reale ogni volta che un nuovo utente interagisce con il vostro test. Piuttosto che cercare di dimostrare una verità assoluta, questo metodo vi dà una risposta intuitiva e concreta: "Qual è la probabilità che la variante B sia migliore della A?"
I suoi indicatori chiave sono la probabilità di vittoria (espressa direttamente in percentuale di possibilità che B batta A) e l'intervallo di credibilità (che vi dice concretamente: "c'è il 90% di probabilità che il vostro guadagno si situi tra +1% e +3%").
L'analogia della scommessa sportiva: Immaginate di scommettere su una partita di tennis. Man mano che i set avanzano e i giocatori segnano punti, aggiustate la vostra fiducia sul vincitore finale. Non aspettate la fine della partita per capire chi domina, aggiornate la vostra "convinzione" continuamente in base agli eventi in campo.
I due metodi non rispondono alla stessa domanda. Il frequentista cerca di determinare se esiste una differenza reale tra A e B, è una questione di esistenza. Il bayesiano, invece, indica direttamente se la variante B è migliore della A e con quale probabilità, è una questione di decisione. È spesso questa sfumatura che sfugge ai team, e che porta a interpretazioni errate dei risultati.
Quali sono gli indicatori chiave dei metodi frequentista e bayesiano?
È generalmente qui che le cose si complicano e il gergo tecnico prende il sopravvento. Per farla semplice, la statistica frequentista e la statistica bayesiana semplicemente non rispondono alla stessa domanda.
Ecco un confronto chiaro per capire cosa state leggendo concretamente:
| Cosa vuoi sapere | Metodo Frequentista | Metodo Bayesiano |
|---|---|---|
| La domanda a cui risponde l'algoritmo | “La differenza osservata tra A e B è dovuta al caso?” | “Qual è la probabilità che la variante B sia migliore della A?” |
| L'indicatore di successo principale |
La P-value Contrariamente a quanto si pensa, non è la probabilità di successo, ma quella di ottenere risultati almeno altrettanto marcati di quelli osservati. Serve a misurare il peso del caso: più la P-value è bassa, più l'ipotesi di uguaglianza tra A e B crolla a favore di una differenza reale. Per questo è spesso presentata nella forma “1 - Pvalue”, trasformando un indice in un tasso di confidenza statistica più intuitivo. |
La probabilità di vittoria In chiaro: è diretto e intuitivo. Lo strumento ti dice letteralmente: “C'è il 95% di probabilità che la tua nuova pagina prodotto converta meglio di quella attuale” |
| La stima dei tuoi guadagni potenziali |
L'intervallo di confidenza Attenzione alla trappola! Non vi dice la probabilità che il vostro guadagno si collochi in questo intervallo. Valuta l'affidabilità a lungo termine. Ad esempio, un intervallo di confidenza al 90% significa che se ripeteste tutto questo processo (raccogliere dati e calcolare l'intervallo) molte volte, il 90% di questi intervalli conterrebbe il tasso reale. |
L'intervallo di credibilità È una stima diretta e comprensibile per il vostro business. Ad esempio, un intervallo di credibilità del 90% significa che c'è il 90% di probabilità che il guadagno reale si collochi in questo intervallo. |
| La regola del campionamento |
Dimensione fissa Dovete calcolare il numero di visitatori richiesto prima di lanciare il test e non toccare nulla finché questo numero non viene raggiunto |
Dimensione flessibile l'algoritmo si aggiorna continuamente ad ogni nuova visita. Non avete una dimensione del campione fissa da rispettare in anticipo |
| L'osservazione in corso d'opera (Data peeking) |
Rigorosamente vietata Prendere una decisione prima della fine del test falsa l'analisi e moltiplica il rischio di implementare un falso vincitore |
Consentita Potete monitorare le tendenze giorno per giorno. Ideale per interrompere istantaneamente una variante se si rivela dannosa per le vostre vendite. |
In definitiva, il vocabolario frequentista (come la famosa P-value) può risultare controintuitivo per chiunque e spinge spesso i team a interpretare male i risultati. La sua rigidità ha tuttavia un merito: non lascia alcuno spazio all'interpretazione. Al di sotto della soglia di confidenza fissata, il verdetto è inappellabile, il test rimane non conclusivo, punto.
Questa disciplina si estende anche alla fase di preparazione. Calcolando la durata del test prima di lanciarlo, strutturate naturalmente la vostra roadmap di sperimentazione, evitate sovrapposizioni tra test sullo stesso perimetro e sapete sempre quando potrete lanciare il successivo.
Al contrario, il vocabolario bayesiano si allinea con la realtà dei nostri mestieri: quantifica un rischio e stima un guadagno finanziario, il che facilita enormemente il processo decisionale in riunione. Questa flessibilità ha tuttavia un costo. Nessun paletto vi impedisce di dichiarare una variante vincente sulla base di una probabilità di vittoria ancora fragile. Il rischio è tanto più reale sui piccoli effetti, dove l'intervallo di credibilità resta ampio e impiega tempo a stabilizzarsi, anche quando la probabilità di vittoria sembra già promettente.
Si possono davvero leggere i risultati in tempo reale?
Il grande difetto dell'approccio frequentista è la sua rigidità. Se osservate i vostri risultati in corso d'opera (ciò che viene chiamato "Data Peeking") e prendete una decisione prima che la soglia di campionamento calcolata in anticipo venga raggiunta, falsate la vostra analisi.
L'approccio bayesiano, invece, può essere un vero acceleratore di decisioni, ma questa flessibilità non giustifica la fretta. Prima di interrompere un test, assicuratevi sempre che la tendenza osservata sia netta e confermata su più giorni. Un effetto novità, una stagionalità o una semplice fluttuazione puntuale possono facilmente dare un falso allarme, soprattutto quando l'intervallo di credibilità è ancora instabile. Una volta riunite queste condizioni, potete interrompere un test se fa calare le vostre vendite, oppure implementare la versione vincente senza aspettare settimane a causa di un campionamento fisso, non appena ottenete una probabilità di successo rassicurante con un intervallo di credibilità ristretto.
Quale metodo per quale contesto?
Non esiste un metodo “sbagliato”, esistono solo metodi mal applicati a un dato contesto. Ecco come consigliamo di utilizzarli sulle vostre problematiche e-commerce o lead gen.
Quando usare il metodo Frequentista?
È da privilegiare quando lavorate su cambiamenti strutturali importanti o test ad alto rischio dove un errore di decisione costerebbe molto caro. Avrete bisogno di questo “rigore scientifico” che richiede di attendere la fine del test per concludere, al fine di limitare al massimo i rischi.
- Esempio 1: Il restyling completo di un funnel d'acquisto. Immaginate di cambiare il design di tutte le fasi del vostro checkout. Se sbagliate, la perdita di fatturato sarà monumentale. Avrete quindi bisogno del rigore del frequentista per essere sicuri al 100% della vostra significatività statistica prima di lanciare i vostri sviluppatori su un cantiere di un mese.
- Esempio 2: Su siti ad altissimo traffico, dove il campione richiesto viene raggiunto in soli pochi giorni. Il volume di dati permette qui di beneficiare del rigore del modello frequentista senza subire i tempi di attesa abituali, eguagliando così la reattività del metodo bayesiano.
Strumento consigliato per il metodo Frequentista: Il calcolatore Welyft
Quando usare il metodo Bayesiano?
È ideale per l'agilità quotidiana e i test iterativi. Permette di fermarsi prima se una variante sovraperforma nettamente e di interpretare i risultati in modo molto più intuitivo.
- Esempio 1: Su pagine a basso traffico (ad esempio, B2B o mercato di nicchia). Qui, ottenere la dimensione del campione richiesta dal frequentista vi richiederebbe 6 mesi. Il bayesiano vi permetterà di ricavare una probabilità di successo affidabile molto più velocemente.
- Esempio 2: Su micro-ottimizzazioni (ad esempio, wording, rassicurazione…). Perché in questo caso, il costo di implementazione è basso. Se l'intervallo di credibilità indica un guadagno potenziale tra +1% e +3%, potete iterare e implementare senza attendere una validazione assoluta.
- Esempio 3: Su campagne promozionali brevi (ad esempio, saldi, black friday..). Qui, il tempo è limitato e il metodo bayesiano vi permette di passare alla variante vincente non appena si delinea una tendenza forte, massimizzando così il profitto immediato.
Strumento consigliato per il metodo Bayesiano: Il calcolatore Welyft
Qual è la vera expertise CRO in tutto questo?
Utilizzare lo strumento giusto al momento giusto, è questa la vera expertise CRO, ma questa flessibilità di scelta non deve trasformarsi in confusione metodologica. Il metodo deve essere deciso prima del lancio del test, mai in corso d'opera. Cambiare approccio statistico a metà di una sperimentazione, o alternare tra i due a seconda dei risultati che vi fanno comodo, complica seriamente la storicizzazione dei vostri risultati e indebolisce l'affidabilità delle vostre conclusioni.
Ricordate l'essenziale. Il frequentista vi offre il rigore, ideale per le decisioni ad alto rischio. Il bayesiano vi offre l'agilità, perfetto per iterare velocemente e decidere in tempo reale. Tuttavia, non è adatto ai test di non-inferiorità poiché si limita a indicare se una variante è migliore di un'altra, senza poter confermare che non sia significativamente peggiore.
In Welyft, come esperti in CRO, scegliamo sempre il metodo che serve i risultati, non quello di moda. Perché una buona decisione CRO è prima di tutto l'approccio giusto in base a un contesto, un traffico e obiettivi di business.
