Marketing e vendita 10 min di lettura

Test A/B con l’intelligenza artificiale: come provare cosa funziona senza analista

Il test A/B non è per i data scientist: si parte da un'ipotesi, si cambia una sola cosa e si misurano i numeri. L'AI accelera, non decide.

In due righe

  • Il test A/B è un esperimento: due versioni, una sola variabile, una metrica.
  • L'AI accelera tre fasi: ipotesi, varianti, lettura dei numeri. Non decide.
  • Prima regola: se la pagina ha meno di mille visite al mese, non testare.
  • Il costo parte da zero euro: il budget non è la scusa.

Il test A/B è un esperimento controllato: mostri due versioni della stessa pagina, email o annuncio a due gruppi, cambi una sola cosa e misuri quale converte di più. L'intelligenza artificiale non lo trasforma in magia: ti accelera nelle tre fasi dove serve, cioè formulare l'ipotesi, scrivere le varianti e leggere i numeri. Non fa il resto: non divide il traffico, non aspetta al tuo posto e non rende valido un test su cinquanta visite. In una PMI si parte dal metodo, e l'AI si infila dentro il metodo.

Perché il test A/B in una PMI quasi sempre non parte

Quando chiedo a un titolare perché ha rifatto la homepage, la risposta è quasi sempre "mi piaceva di più così". Mai un numero. Non è una colpa: è che il gusto è più veloce della statistica, e in una PMI il tempo per la statistica non c'è.

Il test A/B serve esattamente a questo: sostituire il gusto con un dato. Ti dà una risposta che non dipende da chi ha ragione in riunione. E in un'azienda dove il titolare decide dieci cose al giorno, una decisione in meno è ossigeno.

Il motivo per cui il test non parte non è il costo. Gli strumenti gratuiti bastano per cominciare. È la paura di dover diventare un analista, o l'idea che servano mesi. Non è così: il primo test può stare in piedi in un'ora, se scegli la domanda giusta. Per capire quali numeri guardare ogni mese, ho scritto misurare i risultati del marketing.

Cos'è un test A/B, e cosa l'intelligenza artificiale non cambia

Un test A/B è un esperimento controllato in cui mostri due versioni dello stesso elemento a due gruppi, cambi una sola variabile e misuri quale converte di più. È la definizione che uso con i clienti, e la trovi anche nei libri.

Due termini ti bastano per non perderti: l'ipotesi e la significatività statistica. L'ipotesi è la frase "se cambio X, succede Y, perché Z" che scrivi prima di partire e che dice cosa ti aspetti. La significatività statistica è la probabilità che la differenza che vedi sia reale e non un caso; lo standard è il 95%.

Poi c'è il multi-armed bandit, un algoritmo che durante il test sposta da solo più traffico sulla variante che sta vincendo. Per una PMI che comincia, lascia perdere: è roba da test continui con molto traffico. Tu non ne hai bisogno.

L'intelligenza artificiale non cambia questa struttura. Un LLM, cioè il motore dietro ChatGPT, Claude e Gemini, è addestrato su enormi quantità di testo per generare e riassumere linguaggio. Ti aiuta a scrivere le varianti e a leggere i numeri, ma non cambia le regole dell'esperimento. Il metodo resta tuo. Prima il sistema, poi lo strumento.

Dove l'AI ti serve davvero in un test A/B

L'AI serve in tre punti: formulare l'ipotesi, scrivere le varianti, leggere i numeri. Non serve a dividere il traffico, non serve ad aspettare il campione e non serve a decidere il vincitore. Quella è roba tua.

Ecco la tabella con le sei fasi di un test A/B e chi le fa davvero.

Fase Lo fa l'AI? Chi lo fa davvero
Formulare l'ipotesi Ti aiuta a scriverla Tu: nasce dai tuoi dati e dalla tua offerta
Scrivere le varianti (headline, oggetto email, CTA) Sì, molto bene Tu scegli e approvi, cambi una sola variabile
Dividere il traffico tra A e B No Lo strumento (VWO, Meta, piattaforma email)
Raccogliere i dati e aspettare il campione No Lo strumento più la tua disciplina
Leggere i risultati Sì, sui numeri che gli dai Tu verifichi prima che il campione sia sufficiente
Decidere quale variante tenere No Tu, con il contesto del business

Ecco un prompt che uso con ChatGPT per generare varianti di oggetto email, partendo da un'ipotesi:

"Sei un copywriter che lavora per una PMI. La nostra ipotesi di test è: se cambiamo l'oggetto dell'email da 'Promozione di primavera' a 'Il tuo preventivo è pronto', aumenterà il tasso di apertura, perché il lettore percepisce un valore personale. Scrivi tre oggetti email alternativi, di massimo 50 caratteri ciascuno, che mantengano il significato dell'ipotesi ma cambino tono: uno diretto, uno con urgenza, uno più formale. Mantieni una sola variabile: l'oggetto."

Il risultato lo scegli tu. L'AI ti dà le bozze, non la decisione. E se vuoi scrivere contenuti che non sembrino fatti a macchina, ho messo le mie regole in scrivere contenuti con l'AI.

Il conto in tre numeri: prima di testare, capisci se hai traffico

Prima di aprire qualunque strumento, guarda tre numeri: le visite al mese sulla pagina che vuoi testare, il tasso di conversione attuale e il miglioramento minimo che vuoi vedere. Con il calcolatore gratuito di Evan Miller esce il campione necessario.

Facciamo due esempi veri.

Se la conversione di base è il 2% e vuoi rilevare un miglioramento relativo del 25%, servono circa 4.400 visitatori per variante. Questo numero viene da un'analisi di Single Founder Company, con potenza statistica all'80%.

Se la conversione di base è il 10,2% e vuoi vedere un miglioramento minimo del 10,2%, il calcolatore di Evan Miller dice che servono 2.545 visite per variante.

Il campione si esprime in visite per variante, non in visite totali. Se servono 4.400 visitatori per variante, il test ha bisogno di 8.800 visitatori complessivi, più o meno.

Se la tua pagina fa meno di mille visite al mese, non testare. Prima fai crescere il traffico, oppure sposta il test dove il volume c'è: le email. La lista è tua e il costo per testare è zero. Su questo punto non si discute: un test su cinquanta visite è rumore, non una risposta. Se il problema è il ritardo tra lead e risposta, ho scritto tempo di risposta ai lead.

Il primo passo

Scopri dove l'AI ripaga nella tua azienda.

Gratuito · 45 minuti · nessun impegno · punteggi confrontati con 2.800+ aziende

Il primo test A/B con l'AI, passo dopo passo

  1. Scegli la pagina con più traffico. Non la homepage, non la pagina più brutta: quella che riceve più visite e che oggi converte poco. Se non la sai, guarda Google Analytics 4.
  2. Scrivi l'ipotesi in una frase: se cambio X, succede Y, perché Z. Esempio: se metto il prezzo nel titolo, aumenterà il click sulla pagina prodotto, perché il lettore capisce subito se è per lui.
  3. Fai scrivere all'AI la variante. Con un prompt come quello qui sopra, chiedi tre alternative e scegli quella che rispetta l'ipotesi. Cambia una sola variabile: l'oggetto, il titolo, la CTA.
  4. Imposta il test nello strumento. Se è un'email, usa la funzione di test A/B nativa di Mailchimp o Brevo. Se è una pagina, usa VWO o un tool simile. Non toccare altro.
  5. Aspetta il campione senza sbirciare. Il numero che ti serve lo hai calcolato prima. Non guardare i risultati a metà strada: è il peccato più comune, si chiama peeking.
  6. Decidi e documenta in una riga. Se la variante vince, la tieni e scrivi perché. Se perde, hai imparato qualcosa e lo scrivi uguale. Un test "fallito" vale quanto uno vinto, se eviti di rifarlo.

Quanto costa e quanto ci vuole

Si parte da zero euro. Google Analytics 4 e Microsoft Clarity sono gratuiti, il calcolatore di campione di Evan Miller pure. Per le email, Mailchimp e Brevo hanno il test A/B dentro al piano base. Per gli annunci, Meta Ads e Google Ads lo fanno nativamente.

I tool professionali per testare le pagine costano da circa 200 a 2.000 euro al mese. I nomi sono VWO, Optimizely e AB Tasty. Google Optimize non c'è più: è stato chiuso il 30 settembre 2023. Se qualcuno te lo consiglia, sta leggendo un articolo vecchio.

Il costo vero non è il software, è il tempo. Conta qualche ora a settimana di una persona per impostare il test, seguirlo e leggere i numeri. Non serve un analista. Serve qualcuno con la disciplina di non guardare i risultati prima del campione.

Gli errori che vedo più spesso

  • Fermarsi appena la variante preferita va in testa. Si chiama peeking, e invalida il test: guardare i risultati a metà strada ti porta a chiudere troppo presto sulla base del rumore.
  • Testare micro-elementi prima di headline e offerta. Il colore del bottone non cambia niente se il titolo non dice perché comprare. Prima le cose che spostano il valore.
  • Testare con traffico insufficiente. Se la pagina fa poche visite, nessuno strumento ti salva.
  • Cambiare più variabili insieme. Se cambi titolo e immagine e colore nello stesso test, non sai cosa ha funzionato. Una variabile per test.
  • Chiedere all'AI il vincitore su campioni ridicoli. Se incolli i numeri di un test su cinquanta visite, l'AI ti darà comunque una risposta sicura. È rumore statistico, non una decisione.

Domande frequenti

Serve un analista o un data scientist per fare un test A/B?

No. Il test A/B è un metodo, non un mestiere. Ti servono tre cose: un'ipotesi scritta in una frase, uno strumento che divida il traffico (o la funzione nativa della tua piattaforma email) e la disciplina di non guardare i risultati prima del campione pianificato. L'AI aiuta a scrivere le varianti e a leggere i numeri, ma non sostituisce il metodo.

Con poco traffico sul sito ha senso fare test A/B?

Quasi mai. Sotto le mille visite al mese sulla pagina, un test statisticamente valido richiederebbe mesi e darebbe risposte inaffidabili. Prima lavora sul traffico, oppure sposta il test dove il volume c'è: le email, dove la lista è tua e il costo per testare è zero.

L'AI può decidere da sola quale variante vince?

No, ed è qui che ti devi fermare. Se incolli i numeri di un test fatto su cinquanta visite, l'AI ti darà comunque una risposta sicura, ma è rumore statistico. La decisione resta tua, e vale solo dopo che hai raggiunto il campione pianificato e la durata minima.

Quale strumento uso ora che Google Optimize è stato chiuso?

Google Optimize è stato dismesso il 30 settembre 2023 e Google Analytics 4 non ha un sostituto nativo diretto. Le alternative più diffuse sono VWO, Optimizely e AB Tasty, integrate con GA4. Per email e annunci usi le funzioni di test già dentro Mailchimp, Brevo, Meta Ads e Google Ads.

Quanto costa fare un test A/B in modo serio?

Si parte da zero euro: Microsoft Clarity e GA4 sono gratuiti, il calcolatore di campione di Evan Miller pure. I tool professionali costano da circa 200 a 2.000 euro al mese. Ma il costo vero è il tempo: conta qualche ora a settimana di una persona per impostare, seguire e leggere il test.

Domani mattina, apri la tua piattaforma email e guarda l'ultima campagna mandata. Scrivi in una riga l'ipotesi che avresti voluto testare: se cambio X, succede Y, perché Z. Non serve altro. Il test A/B parte da lì, non dallo strumento. Se vuoi capire dove l'AI ti fa risparmiare davvero nel marketing, leggi AI per marketing e vendita in una PMI.

Condividi

LinkedIn WhatsApp Email

Domande frequenti

Quello che mi chiedono su questo.

Serve un analista o un data scientist per fare un test A/B?

No. Il test A/B è un metodo, non un mestiere. Ti servono tre cose: un'ipotesi scritta in una frase, uno strumento che divida il traffico (o la funzione nativa della tua piattaforma email) e la disciplina di non guardare i risultati prima del campione pianificato. L'AI aiuta a scrivere le varianti e a leggere i numeri, ma non sostituisce il metodo.

Con poco traffico sul sito ha senso fare test A/B?

Quasi mai. Sotto le mille visite al mese sulla pagina, un test statisticamente valido richiederebbe mesi e darebbe risposte inaffidabili. Prima lavora sul traffico, oppure sposta il test dove il volume c'è: le email, dove la lista è tua e il costo per testare è zero.

L'AI può decidere da sola quale variante vince?

No, ed è qui che ti devi fermare. Se incolli i numeri di un test fatto su cinquanta visite, l'AI ti darà comunque una risposta sicura, ma è rumore statistico. La decisione resta tua, e vale solo dopo che hai raggiunto il campione pianificato e la durata minima.

Quale strumento uso ora che Google Optimize è stato chiuso?

Google Optimize è stato dismesso il 30 settembre 2023 e Google Analytics 4 non ha un sostituto nativo diretto. Le alternative più diffuse sono VWO, Optimizely e AB Tasty, integrate con GA4. Per email e annunci usi le funzioni di test già dentro Mailchimp, Brevo, Meta Ads e Google Ads.

Quanto costa fare un test A/B in modo serio?

Si parte da zero euro: Microsoft Clarity e GA4 sono gratuiti, il calcolatore di campione di Evan Miller pure. I tool professionali costano da circa 200 a 2.000 euro al mese. Ma il costo vero è il tempo: conta qualche ora a settimana di una persona per impostare, seguire e leggere il test.

Il primo passo

Scopri dove l'AI ripaga nella tua azienda.

45 minuti per fotografare la tua azienda in 5 aree, con i punteggi confrontati con 2.800+ aziende. Compili qui sotto e ti arriva il link monouso per farlo con calma. Gratuito, e il report resta tuo comunque vada.

Accesso · PMI Speed Test 5 aree · 45 min · gratuito

Continua

Altri pezzi su questo.