Chapter 8. Marketing Information Systems and Research

Obiettivi di apprendimento

Al termine di questo capitolo lo studente sarà in grado di:

• distinguere il sistema informativo di marketing dalla ricerca, e indicare le tre fonti che alimentano il primo;
• tradurre un problema decisionale in un problema di ricerca, e stabilire quando il costo dell’informazione non sia giustificato;
• scegliere fra disegno esplorativo, descrittivo e causale, indicando che cosa ciascuno può e non può stabilire;
• riconoscere le fonti di errore di un’indagine campionaria e perché quelle non campionarie sono di norma le più grandi;
• valutare una fonte secondaria e porre a un fornitore di dati comportamentali le tre domande che ne condizionano l’uso;
• distinguere affidabilità e validità, e dire che cosa la crisi di replicabilità insegna a chi commissiona ricerca;
• documentare una rilevazione su sistemi generativi in modo che un terzo possa ripeterla.

Concetti chiave

Sistema informativo di marketing · dati interni · marketing intelligence · ricerca di marketing · problema decisionale e problema di ricerca · errore di terzo tipo · valore atteso dell’informazione · disegno esplorativo, descrittivo, causale · intervista in profondità · focus group · etnografia di mercato · netnografia · scala di Likert · differenziale semantico · campionamento probabilistico e non probabilistico · errore totale d’indagine · copertura · non risposta · errore di misura · randomizzazione · test A/B · validità interna ed esterna · fonte secondaria · dati di intento · affidabilità · validità di contenuto, di costrutto, di criterio · replicabilità · preregistrazione · riproducibilità su sistemi generativi

8.1 Dal dato alla decisione: architettura del sistema informativo di marketing

I due capitoli precedenti hanno posto domande sull’ambiente (→ cap. 6) e sul settore (→ cap. 7) senza dire da dove vengano le risposte. Questo capitolo colma la lacuna: prima l’architettura che rende disponibile l’informazione in modo continuativo, poi il metodo con cui se ne produce di nuova.

8.1.1 Un’architettura permanente e un progetto occasionale

Il sistema informativo di marketing è l’insieme stabile di persone, procedure e strumenti con cui un’organizzazione raccoglie, ordina, valuta e rende disponibile a chi decide l’informazione di cui ha bisogno: Kotler (1966) lo descrive come un «centro nervoso» della funzione, Cox e Good (1967) ne propongono l’architettura in termini di componenti e flussi. La ricerca di marketing è cosa diversa: la progettazione, la raccolta, l’analisi e l’interpretazione sistematiche di dati relativi a un problema specifico. La differenza non è di scala ma di natura. Il sistema informativo è continuo e generico: produce serie storiche, permette di accorgersi che qualcosa è cambiato, e va progettato per servire domande non ancora formulate. La ricerca è discreta e mirata: produce una fotografia e spiega perché.

8.1.2 Le tre fonti

I dati interni sono quelli che l’organizzazione già produce svolgendo la propria attività: ordini, resi, tempi di consegna, reclami, comportamenti registrati sui propri canali. Nascono da sistemi progettati per altro, e il loro costo non è di raccolta ma di riconciliazione.

La marketing intelligence è l’informazione sull’ambiente esterno raccolta con continuità da fonti pubbliche o semipubbliche: comunicazioni dei concorrenti, listini, bilanci, brevetti, atti regolatori, segnalazioni della rete di vendita. Alimenta l’analisi dei concorrenti (→ 7.4) e la sorveglianza ambientale (→ 6.8.3); il suo problema è opposto, perché l’informazione è abbondante e non selezionata.

La ricerca interviene quando le prime due non bastano, cioè quando l’informazione che serve non esiste. Si aggiunge la componente di elaborazione e previsione (→ cap. 9).

8.1.3 Molti dati, poca informazione

Quasi tutte le organizzazioni dispongono di più dati di quanti ne sappiano usare, e quasi tutte lamentano di non avere l’informazione che serve. La contraddizione è apparente: un dato diventa informazione solo se riduce l’incertezza di una decisione, e la domanda che discrimina è sgradevole — quale decisione prenderei diversamente se questo numero fosse diverso? È la stessa regola già enunciata per l’analisi ambientale (→ 6.1.4), e qui la si applica ai dati anziché alle forze.

Da qui il capovolgimento che regge il paragrafo: il problema non è raccogliere, è decidere in anticipo a quali domande si vuole poter rispondere. La raccolta indiscriminata ha due costi differiti. Uno di attenzione: un cruscotto che mostra ottanta grandezze non ne mostra nessuna. Uno di struttura: un dato registrato senza sapere a che cosa servirà assume di rado la forma che poi servirebbe. La progettazione procede dunque a ritroso: dalle decisioni ricorrenti alle grandezze che le informano, e da queste alle fonti (→ cap. 10).

8.2 Il processo di ricerca: problema, disegno, esecuzione, interpretazione

Il processo si descrive in quattro fasi, e la prima determina il valore di tutte le altre: è anche quella a cui si dedica meno tempo.

8.2.1 Il problema decisionale e il problema di ricerca

Un problema decisionale è ciò che chi decide deve stabilire — se entrare in un mercato, se modificare un prezzo, se ritirare una variante — ed è formulato in termini di azione. Un problema di ricerca è ciò che occorre sapere per affrontarlo, ed è formulato in termini di informazione. I due non coincidono mai, e la traduzione richiede tre domande. Che decisione è in gioco e chi la prende? Quali sono le alternative — se ce n’è una sola non c’è decisione e non serve ricerca — quale informazione sposterebbe la scelta? «Le vendite sono in calo: che cosa faccio?» diventa una domanda di ricerca solo dopo aver formulato ipotesi alternative sulla causa — meno persone acquistano, le stesse acquistano meno, acquistano altrove, la categoria si contrae — perché ciascuna richiede dati diversi.

8.2.2 L’errore di terzo tipo

La statistica classifica due errori: rifiutare un’ipotesi vera e accettarne una falsa. Mitroff e Featheringham (1974) ne hanno proposto un terzo, che li precede e li rende irrilevanti: risolvere accuratamente il problema sbagliato. È il più costoso e il meno visibile, perché non lascia tracce: il rapporto è corretto, i dati validi, e la decisione non ne trae nulla. Le cause ricorrenti sono due: l’accettazione del problema come viene formulato, e la sostituzione della domanda difficile con una facile — non potendo stabilire se le persone acquisterebbero, si misura se dichiarano che acquisterebbero. Il rimedio è procedurale: prima di disegnare una rilevazione si scrive in una pagina qual è la decisione, quali le alternative, quali gli esiti possibili e che cosa si farebbe per ciascuno. Se due esiti diversi conducono alla stessa azione, la ricerca non serve.

8.2.3 Disegno, esecuzione, interpretazione

Il disegno stabilisce che tipo di risposta si cerca. Conviene dire subito ciò che la somiglianza dei nomi fa credere e che non è vero: la tripartizione dei disegni non corrisponde ai tre generi di affermazione distinti al § 3.2 — descrittivo, normativo, predittivo. Il disegno stabilisce quale tipo di inferenza i dati autorizzano; il genere dell’affermazione dipende da come quell’inferenza viene usata. Due conseguenze. Nessun disegno, da solo, fonda un’affermazione normativa: per passare da ciò che si è misurato a ciò che si deve fare serve sempre una premessa che indichi un fine (→ 3.2.2). E il disegno causale non è il genere predittivo: spiegare e prevedere sono obiettivi diversi, e un modello che prevede bene può essere inservibile per decidere un intervento (→ 9.3.3).

Il disegno esplorativo serve quando non si sa ancora quali siano le variabili rilevanti: produce ipotesi, non misure. Il descrittivo quantifica livelli e associazioni di variabili note; i metodi statistici con cui da quelle associazioni si ricavano gruppi omogenei appartengono alla segmentazione (→ 16.5). Il causale stabilisce se una variabile ne determina un’altra, ed è l’unico che fondi affermazioni sugli effetti di un intervento.

Nell’esecuzione si perde la maggior parte della qualità, per decisioni che non compaiono nei rapporti: chi contatta le persone, con quale copione, con quali sostituzioni. Nell’interpretazione l’errore tipico è partire dalla raccomandazione desiderata e selezionare i risultati che la sostengono: un rapporto serio dichiara anche ciò che i dati non permettono di concludere.

8.2.4 Quando non fare ricerca

L’informazione ha un costo, e la teoria della decisione ne formalizza il confronto con il beneficio attraverso il valore atteso dell’informazione (Raiffa, 1968). È massimo quando l’incertezza è alta e la decisione difficilmente reversibile; è nullo, quale che sia la qualità della ricerca, in quattro situazioni: quando la decisione è già presa e la ricerca serve a legittimarla; quando nessun esito cambierebbe la scelta (→ 6.1.4); quando il costo supera il valore in gioco, perché per decisioni piccole e reversibili provare costa meno che studiare (→ 30.6); quando la risposta arriverebbe dopo la decisione.

8.3 Ricerca esplorativa e metodi qualitativi

8.3.1 A che cosa serve, e a che cosa no

La ricerca qualitativa produce comprensione, non stime: serve a scoprire quali siano le dimensioni rilevanti di un fenomeno, con quale linguaggio le persone lo descrivono, quali usi imprevisti fanno di un’offerta. Zaltman (1997) ha argomentato che gran parte della ricerca di mercato fallisce perché assume che le persone sappiano e vogliano dire perché fanno ciò che fanno, mentre molti dei processi che governano la scelta non sono accessibili all’introspezione (→ cap. 12). Da qui una regola di lettura: il qualitativo è affidabile su ciò che le persone fanno e su come lo descrivono, meno su perché lo fanno.

8.3.2 L’intervista in profondità

È un colloquio individuale, lungo, su traccia flessibile; il vantaggio è l’assenza di pubblico. Le difficoltà si governano per via procedurale: domande aperte prima delle chiuse, sollecitazioni neutre, richiesta di episodi concreti anziché di opinioni. «Che cosa cerca in un fornitore» produce virtù astratte; «mi descriva l’ultima volta che ha cambiato fornitore» produce le stesse informazioni in forma verificabile. Gli strumenti che ordinano questo materiale sono discussi dove appartengono (→ 16.4).

8.3.3 Il focus group e gli effetti di gruppo

La tecnica deriva dall’intervista focalizzata di Merton e Kendall (1946). Un piccolo gruppo, guidato da un moderatore, discute un tema; l’unità di analisi non è la singola risposta ma l’interazione, e la discussione fa emergere argomenti che nessuno avrebbe sollevato da solo. La stessa proprietà è però la debolezza, perché il gruppo produce effetti che non sono contenuti informativi: la conformità, per cui molte persone modificano il giudizio dichiarato quando gli altri ne esprimono uno diverso, anche su questioni percettive elementari (Asch, 1956); la dominanza di uno o due partecipanti espansivi; il blocco della produzione, per cui gruppi che generano idee insieme ne producono meno di altrettante persone che lavorano separatamente (Diehl & Stroebe, 1987).

Nessuno di questi effetti squalifica la tecnica; tutti impongono di sapere che cosa si osserva, cioè come si parla di qualcosa in presenza di altri: per certi consumi è la situazione rilevante, per altri non lo è affatto.

8.3.4 Osservazione, etnografia, netnografia

L’osservazione registra comportamenti anziché dichiarazioni, e aggira il limite fondamentale dell’intervista. L’etnografia di mercato ne è la forma estesa: una permanenza prolungata nel contesto in cui l’offerta viene scelta, usata, condivisa o scartata. Arnould e Wallendorf (1994) ne hanno indicato il contributo specifico: rivela usi non previsti che nessuna domanda diretta farebbe emergere, perché nessuno dichiara ciò che considera ovvio. I rischi sono due: la presenza dell’osservatore modifica il comportamento, e l’interpretazione dipende dal quadro concettuale di chi osserva.

La netnografia adatta il metodo alle comunità online (Kozinets, 2002). Ha due attrattive — costo basso e materiale già prodotto — e tre limiti. Chi parla non è chi compra: queste comunità sono popolate in misura sproporzionata da partecipanti molto coinvolti. Una parte del materiale non è prodotta da persone, o è prodotta da persone incentivate a produrlo. L’osservazione ha implicazioni giuridiche ed etiche: che un contenuto sia accessibile non implica che chi lo ha scritto acconsenta al suo uso a fini di ricerca (→ 39.1, → 39.2).

8.3.5 L’errore più comune della ricerca applicata

Un campione qualitativo non è rappresentativo e non è costruito per esserlo. Eppure un rapporto scrive «la maggior parte dei partecipanti», il verbale diventa una presentazione, la presentazione una percentuale, e a due passaggi dalla fonte una decisione si appoggia a un numero mai misurato. Generalizzare da un campione qualitativo è l’errore più frequente della ricerca applicata. Il qualitativo ha criteri propri — credibilità, trasferibilità dichiarata, tracciabilità del percorso dai materiali alle conclusioni (Lincoln & Guba, 1985) — che non sono la rappresentatività e non la sostituiscono.

8.4 Ricerca descrittiva: survey, scale, campionamento, errore

8.4.1 Il questionario e le scale

L’indagine campionaria misura su un campione grandezze che si vogliono riferire a una popolazione, e la sua qualità dipende da due elementi indipendenti: lo strumento e il campione. Sullo strumento vale un punto che chi scrive un questionario deve conoscere: la risposta non preesiste alla domanda, ma è costruita nel momento in cui la domanda viene posta (Tourangeau, Rips & Rasinski, 2000). Schwarz (1999) ha documentato che formulazione, ordine delle domande ed etichettatura delle categorie modificano sistematicamente i risultati: una scala di frequenza centrata sui valori bassi ottiene dichiarazioni più basse della stessa scala centrata su valori alti, perché comunica che cosa sia «normale». Si aggiungono la desiderabilità sociale (Fisher, 1993), la varianza di metodo comune, che gonfia le correlazioni fra grandezze rilevate con lo stesso strumento sulle stesse persone (Podsakoff, MacKenzie, Lee & Podsakoff, 2003), e l’imperfetta capacità predittiva delle intenzioni dichiarate, più debole per le offerte nuove che per quelle esistenti e per i beni non durevoli che per i durevoli (Morwitz, Steckel & Gupta, 2007).

Quanto ai formati, la scala di Likert rileva il grado di accordo con affermazioni su un numero fisso di gradi (Likert, 1932): la presenza o assenza di un punto centrale non è un dettaglio, perché una scala senza centro elimina le risposte di comodo e insieme forza chi è realmente indifferente. Il differenziale semantico colloca il giudizio fra due poli aggettivali opposti (Osgood, Suci & Tannenbaum, 1957). Le scale a somma costante e le graduatorie rilevano priorità anziché apprezzamenti, ed è ciò che serve, perché quasi tutti gli attributi ricevono valutazioni alte quando li si valuta separatamente. Churchill (1979) ha proposto la procedura ancora canonica per costruire una misura (→ 8.7.1).

8.4.2 Campionamento

Un campione è probabilistico se ogni unità della popolazione ha una probabilità nota e non nulla di essere inclusa: solo allora l’inferenza è fondata e l’errore calcolabile (Neyman, 1934). Le forme principali sono il campione casuale semplice, quello stratificato — che estrae entro strati omogenei, riducendo l’errore a parità di dimensione — e quello a grappoli, che estrae gruppi interi riducendo i costi e aumentando l’errore. Un campione è non probabilistico quando la selezione dipende da giudizio, disponibilità o accessibilità. È spesso l’unica opzione praticabile, purché si sappia che cosa comporta: da un campione non probabilistico non si può calcolare un margine d’errore, perché la formula presuppone una selezione casuale che non c’è. Sulla dimensione, infine, la precisione dipende dalla numerosità assoluta, non dalla proporzione rispetto alla popolazione, e cresce con la sua radice quadrata.

8.4.3 L’errore che si dichiara e quelli che non si dichiarano

Il margine d’errore riportato accanto a un risultato riguarda soltanto l’errore campionario: la variabilità dovuta all’aver osservato una parte anziché il tutto. È l’unico che si sappia quantificare, ed è quasi sempre il più piccolo. L’impostazione dell’errore totale d’indagine (Groves, 1989; Groves & Lyberg, 2010) considera invece tutte le fonti di scostamento fra valore stimato e valore vero; tre famiglie non campionarie meritano attenzione. L’errore di copertura nasce quando la lista da cui si estrae non coincide con la popolazione di interesse: ogni modalità di contatto esclude qualcuno, e non a caso, perché chi non è raggiungibile con un canale differisce sistematicamente da chi lo è. L’errore di non risposta nasce quando parte dei selezionati non partecipa, ed è divenuto il problema dominante; il punto è però più sottile della retorica sui tassi di risposta, perché Groves e Peytcheva (2008) mostrano che la distorsione dipende non dal tasso in sé ma dalla correlazione fra propensione a rispondere e grandezza misurata. L’errore di misura, infine, è lo scostamento fra risposta registrata e valore vero per quella persona.

La conclusione operativa è una. Le fonti di errore non campionario sono di norma più grandi di quella campionaria, non compaiono nel margine dichiarato e non si riducono aumentando il campione. Un risultato con margine dichiarato del due per cento, ottenuto da una lista che esclude un terzo della popolazione e con un tasso di risposta dell’otto per cento, è di precisione ignota. Chi commissiona ricerca chieda sempre come è stata costruita la lista e quale quota dei selezionati ha risposto.

8.5 Ricerca causale: esperimenti, A/B test, validità

8.5.1 Perché serve l’esperimento

Le ricerche descrittive stabiliscono associazioni, e dall’associazione non discende la causa. La direzione può essere invertita: non è l’investimento in comunicazione a produrre le vendite, ma il budget a essere fissato in proporzione alle vendite attese. La relazione può essere spuria, se una terza variabile determina entrambe. E può nascere da autoselezione: chi partecipa a un programma di fedeltà acquista più degli altri, ma vi partecipa perché già acquistava di più.

L’esperimento risolve il problema in un modo che nessuna analisi ex post replica. Assegnando le unità ai gruppi in modo casuale si rende l’appartenenza al gruppo indipendente da ogni caratteristica delle unità, nota o ignota (Fisher, 1935); le differenze osservate nell’esito sono allora attribuibili al trattamento entro un margine calcolabile. È la randomizzazione, non la dimensione dei dati, a distinguere una prova causale da una congettura. Un esperimento richiede dunque una variabile manipolata, un gruppo di controllo, una assegnazione casuale, una variabile di esito definita prima e il controllo delle condizioni estranee. Dove la randomizzazione è impossibile si ricorre a disegni quasi sperimentali, il cui valore dipende dalla plausibilità dell’assunzione che i gruppi sarebbero evoluti in parallelo senza il trattamento (Cook & Campbell, 1979). L’impiego di questi disegni per stabilire che cosa un’attività di marketing abbia effettivamente prodotto è materia del § 30.4 (→ 30.4).

8.5.2 I test A/B come esperimenti, e come li si invalida

Un test A/B confronta due versioni di un elemento assegnando casualmente gli utenti e misurando la differenza su un esito definito. Non è una tecnica digitale nuova: è un esperimento randomizzato di campo, che eredita i pregi del disegno sperimentale — esito misurato sul comportamento anziché sulla dichiarazione, costi marginali bassi, ripetibilità (→ 30.6) — e i suoi vincoli. Il principale è la potenza statistica: Lewis e Rao (2015), su esperimenti pubblicitari di grandi dimensioni, hanno mostrato che la variabilità individuale della spesa è così alta rispetto all’effetto atteso che perfino milioni di osservazioni non bastano a distinguere un rendimento molto buono da uno negativo. Molti test conclusi con «nessuna differenza» non dicono che l’effetto è assente, ma che il disegno non era in grado di vederlo.

Quattro modi tipici di invalidare un test. L’interruzione anticipata: poiché la significatività fluttua nel tempo, fermarsi quando la differenza appare significativa garantisce prima o poi il superamento della soglia anche in assenza di effetto — è la più insidiosa delle flessibilità documentate da Simmons, Nelson e Simonsohn (2011), e si previene fissando prima durata e regola di arresto. I confronti multipli: con venti confronti indipendenti e una soglia convenzionale uno risulta in media significativo anche se nulla ha effetto, sicché la metrica principale va dichiarata in anticipo. Gli effetti di novità e di apprendimento: un test troppo breve misura la reazione al cambiamento, non l’effetto del nuovo assetto (Kohavi, Tang & Xu, 2020). La contaminazione fra gruppi: quando gli utenti comunicano fra loro, o quando la stessa persona finisce in gruppi diversi su dispositivi diversi, si randomizza per unità più grandi, accettando la perdita di potenza.

8.5.3 Validità interna, validità esterna, compromesso

Campbell e Stanley (1963) hanno introdotto la distinzione che ordina la materia. La validità interna è il grado in cui si può escludere che la differenza osservata sia dovuta ad altro che al trattamento — eventi esterni concomitanti, cambiamenti spontanei nei soggetti, effetti dello strumento, perdita differenziale di soggetti. La validità esterna è il grado in cui il risultato si trasferisce ad altre persone, contesti e momenti. Fra le due esiste un compromesso strutturale: isolare l’effetto significa allontanarsi dalla situazione reale, sicché un ambiente controllato massimizza la validità interna e riduce l’esterna. Il rischio di trasferimento cresce quanto più il pubblico osservato è selezionato e quanto più il contesto è distante da quello di destinazione (→ 21.6.1).

8.6 Fonti secondarie e dati di terze parti

Una fonte è primaria quando i dati sono raccolti per il problema in esame, secondaria quando sono stati raccolti da altri per altri scopi: statistiche di istituti nazionali e organizzazioni internazionali, banche dati settoriali, bilanci, brevetti, panel. Costano una frazione e coprono ampiezze che nessun committente potrebbe finanziare, sicché la ricerca secondaria viene prima. Ma quei dati rispondono ad altre domande, e tre controlli vanno fatti sempre. La definizione: la grandezza che porta il nome che ci interessa quasi mai è definita come ci serve, e le classificazioni statistiche ufficiali sono costruite su criteri di processo produttivo, non sul mercato rilevante di cui si ha bisogno (→ 7.1). L’aggiornamento: fra periodo di riferimento e pubblicazione passa tempo, e un dato di cui non si conosce il periodo di riferimento — non la data di pubblicazione — non è utilizzabile. La provenienza: chi ha prodotto il dato, con quale metodo, a spese di chi. Le proiezioni di società di consulenza e le stime divulgate senza metodo dichiarato non sono dati: sono affermazioni.

8.6.1 Dati di intento e dati comportamentali acquistati

I dati di intento sono indicatori, venduti da fornitori specializzati, che segnalano la probabilità che una persona o un’organizzazione si trovi in fase attiva di valutazione d’acquisto su un tema. Sono l’infrastruttura di molte pratiche di prospezione (→ 29.10).

Come sono costruiti. L’osservazione elementare è il consumo di contenuti: quali pagine e materiali di confronto vengono consultati, con quale frequenza e da quale rete. I segnali provengono da reti cooperative di siti che condividono dati di navigazione, da fornitori di misurazione pubblicitaria, da registri di scaricamento; vengono attribuiti a un’entità mediante procedure di risoluzione dell’identità e trasformati in punteggio come scostamento da una linea di base storica.

Che cosa misurano davvero. Misurano consumo di contenuti, non intenzione: l’intenzione è un costrutto psicologico non osservabile, e chi legge molto su un argomento può essere un acquirente, un concorrente, uno studente o un sistema automatico. L’attribuzione all’entità è inferenziale, e il suo tasso di errore — raramente dichiarato — è la variabile che più incide sull’utilità del dato. Il punteggio ha infine una dinamica propria: è più denso dove la rete di raccolta è densa, cioè in alcune lingue e in alcuni mercati assai più che in altri.

Le tre domande da porre a un fornitore. Origine: da quali fonti provengono i segnali, con quale copertura per mercato e lingua? Base giuridica: su quale fondamento i dati sono stati raccolti, e su quale possono essere trasferiti e usati da chi li acquista? La domanda non è delegabile al fornitore, perché nella maggior parte degli ordinamenti la responsabilità ricade su chi tratta i dati per le proprie finalità: acquistare un dato non trasferisce la liceità del suo trattamento, e la materia va consultata prima di impostare qualsiasi attività (→ 39.2). Verificabilità: esiste una misura documentata di quanto spesso l’entità segnalata sia quella indicata? Un fornitore che non consente verifica indipendente vende un’affermazione, non una misura.

L’errore simmetrico all’entusiasmo è il rifiuto di principio: questi dati possono ridurre lo spreco di attenzione commerciale in mercati con cicli lunghi. Ma il loro uso corretto è probabilistico — indicano dove conviene guardare, non che cosa una persona vuole — e trattarli come conoscenza dell’intenzione altrui produce un effetto di intrusione che costa più di quanto il dato valga (→ 39.7.1).

8.7 Qualità della ricerca: affidabilità, validità, replicabilità

8.7.1 Affidabilità e validità

Una misura è affidabile se produce risultati coerenti in condizioni costanti. È una proprietà della stabilità, non della correttezza: una bilancia tarata male è affidabile e sbagliata. Se ne verificano tre forme — stabilità nel tempo, coerenza fra forme equivalenti dello strumento, coerenza interna fra gli item di una scala, misurata di solito con il coefficiente proposto da Cronbach (1951). Su quest’ultimo serve un’avvertenza che nella pratica manca quasi sempre: cresce meccanicamente con il numero di item (Peter, 1979).

Una misura è valida se misura ciò che intende misurare. La validità di contenuto riguarda la copertura del costrutto: gli item rappresentano l’intero dominio, o solo la parte più facile da formulare? Si valuta per giudizio esperto ed è la forma più trascurata. La validità di costrutto riguarda il rapporto fra la misura e la rete di relazioni teoriche in cui il concetto è inserito (Cronbach & Meehl, 1955), e si articola in convergente e discriminante: misure diverse dello stesso costrutto devono correlare, misure di costrutti diversi no (Campbell & Fiske, 1959). La validità di criterio riguarda la corrispondenza con un riferimento esterno, concomitante o predittiva, ed è per chi decide la più importante. Il rapporto fra le due proprietà è asimmetrico: l’affidabilità è condizione necessaria della validità, non sufficiente.

8.7.2 Replicabilità, e che cosa insegna a chi commissiona

Un risultato è replicabile se un altro ricercatore, seguendo la stessa procedura su nuovi dati, ottiene un esito compatibile; per decenni il criterio è stato assunto anziché verificato. Le verifiche sistematiche condotte dagli anni Duemiladieci hanno prodotto esiti sobri: una collaborazione internazionale che ha ripetuto un centinaio di esperimenti di psicologia ha ottenuto risultati significativi nella stessa direzione in una minoranza di casi, con effetti mediamente circa dimezzati (Open Science Collaboration, 2015); un secondo progetto su esperimenti di scienze sociali ne ha replicati circa due terzi, di nuovo con effetti più piccoli (Camerer et al., 2018). Le cause sono strutturali più che individuali: con campioni piccoli, effetti attesi deboli, analisi flessibili e forte competizione per la pubblicazione, la quota di risultati pubblicati falsi cresce anche in assenza di disonestà (Ioannidis, 2005), e le repliche, nel marketing, sono rare (Hubbard & Armstrong, 1994). La risposta prevalente è la preregistrazione (Nosek, Ebersole, DeHaven & Mellor, 2018).

Per chi la ricerca la compra, tre conseguenze. Un risultato singolo non è una conoscenza: costruirvi sopra una decisione irreversibile significa scommettere su un numero che potrebbe dimezzarsi alla prima ripetizione. La flessibilità di analisi non dichiarata è la principale fonte di risultati che non reggono: chiedere il piano di analisi prima dei dati costa nulla. Le repliche interne sono lo strumento più sottovalutato: ripetere una misura su un altro campione costa una frazione della prima rilevazione ed è l’unico modo per sapere se ciò che si è misurato esisteva davvero.

8.8 Riproducibilità delle misure su sistemi generativi

Una parte crescente delle rilevazioni di marketing consiste nell’interrogare sistemi generativi per osservare che cosa dicono di una categoria, di un’offerta o di un’organizzazione. Il fenomeno che queste rilevazioni intendono cogliere e le sue conseguenze per la presenza di mercato sono materia del capitolo dedicato (→ 32.3). Qui interessa una sola questione, di metodo: a quali condizioni una misura di questo tipo è riproducibile, cioè ripetibile da un terzo che ottenga risultati confrontabili.

8.8.1 Perché quasi nessuna di queste rilevazioni è riproducibile

La procedura tipica è semplice: si formula una domanda («quali sono le migliori opzioni per…»), la si sottopone a uno o più sistemi, si registra quali soggetti compaiono nella risposta e in quale posizione, si costruisce un conteggio. Ma ogni passaggio introduce una fonte di variazione che, se non dichiarata, rende il risultato non ripetibile.

Fonte di variazione	Perché compromette la ripetibilità
Il sistema non è deterministico	La stessa domanda posta due volte può produrre risposte diverse, perché la generazione campiona fra continuazioni possibili: una sola interrogazione riporta un’estrazione, non una stima
La formulazione è parte dello strumento	Modifiche puramente formali del prompt — ordine degli elementi, punteggiatura, istruzioni di formato — producono variazioni sostanziali nei risultati (Sclar, Choi, Tsvetkov & Suhr, 2024). Vale ciò che vale per un questionario (→ 8.4.1): il prompt va riportato integralmente
Il sistema cambia nel tempo	Modelli e strati circostanti — recupero di documenti esterni, filtri, istruzioni di sistema — cambiano senza preavviso e senza versione dichiarata
Il contesto condiziona la risposta	Sessioni precedenti, memoria dell’interazione, personalizzazione e area geografica modificano l’esito: interrogare da un profilo che ha già discusso l’argomento non equivale a interrogare a freddo
Il conteggio dipende dalla lettura	Che cosa conti come menzione — citazione esplicita, allusione, elenco, rifiuto — va deciso in anticipo: senza regola di codifica, due ricercatori ottengono numeri diversi

La conseguenza va detta senza attenuazioni: una rilevazione su sistemi generativi che non dichiari queste condizioni non è una misura, è un’osservazione aneddotica presentata in forma numerica.

8.8.2 Un protocollo minimo di documentazione

Ciò che segue è il minimo perché una rilevazione sia ripetibile. È più leggero dei protocolli usati nella ricerca sui modelli (Mitchell et al., 2019; Gebru et al., 2021), perché qui l’oggetto non è il sistema ma la misura effettuata su di esso.

• I prompt, per esteso, non la loro parafrasi; se si sono usate varianti, tutte, con la regola di aggregazione.
• Il sistema e la sua versione: quale sistema, in quale modalità di accesso, con quali parametri noti, con o senza recupero da fonti esterne. Dove la versione non è pubblicamente identificabile, lo si dichiara: è un’informazione, non una lacuna.
• La lingua e il mercato da cui la richiesta è partita, per la ragione del § 8.8.3.
• La data, e l’intervallo se la rilevazione si estende.
• Ripetizioni e condizioni di sessione: quante volte ciascun prompt, in sessioni nuove o nella stessa, con o senza cronologia e personalizzazione.
• Il trattamento della variabilità: come si aggregano le ripetizioni e quale dispersione si riporta. Un risultato senza dispersione non è interpretabile.
• La regola di codifica: che cosa conta come menzione, come si trattano risposte parziali o rifiutate, chi ha codificato e con quale accordo.
• Ciò che si è omesso: prompt scartati, sessioni fallite, sistemi esclusi. È la sezione che nessuno scrive, e quella che separa una rilevazione da una selezione.

Vale anche qui la regola del § 8.7.2: dichiarare il piano prima di raccogliere. Una rilevazione di questo tipo ha così tanti gradi di libertà che, scegliendoli dopo aver visto i risultati, si ottiene quasi qualsiasi conclusione in perfetta buona fede.

8.8.3 La lingua non è un dettaglio della misura

I sistemi generativi non sono ugualmente informati in tutte le lingue: i dati su cui sono costruiti sono distribuiti in modo estremamente diseguale fra le lingue del mondo, e le prestazioni delle tecnologie linguistiche seguono sistematicamente quella distribuzione (Joshi, Santy, Budhiraja, Bali & Choudhury, 2020; Blasi, Anastasopoulos & Neubig, 2022). Ne discendono tre conseguenze. Il risultato cambia con la lingua di interrogazione, perché diverso è il corpus su cui la risposta si appoggia. Una misura in una sola lingua è una stima distorta, con direzione prevedibile: sovrastima i soggetti ben documentati in quella lingua e sottostima quelli documentati altrove. La lingua è dunque una dimensione della misura, non una condizione di contorno: una rilevazione seria è per costruzione multilingue, con gli stessi prompt tradotti e verificati da parlanti competenti, e si riportano i risultati separatamente per lingua. La media fra lingue nasconde ciò che la misura dovrebbe rivelare.

8.8.4 Che cosa si può e che cosa non si può concludere

Anche condotta bene, una rilevazione di questo tipo ha un perimetro stretto. Si può concludere che, in una certa lingua, a una certa data, su un certo sistema e con certi prompt, alcuni soggetti compaiono più spesso di altri, e si può ripetere lo stesso protocollo in un altro momento. Non si può concludere quale sia la causa di un eventuale spostamento, perché fra due date sono cambiati insieme il sistema, i contenuti disponibili e il comportamento degli altri attori (vale il § 8.5.1); né si può concludere alcunché su ciò che gli utenti vedono, perché le loro interrogazioni non sono i prompt del ricercatore. Chi tiene ferme queste limitazioni ottiene comunque un indicatore comparabile nel tempo di come una categoria viene rappresentata da un’infrastruttura che molte decisioni attraversano.

Sintesi del capitolo

Il sistema informativo di marketing è un’architettura permanente, continua e generica; la ricerca è un progetto a termine, discreto e mirato. Quasi tutte le organizzazioni hanno molti dati e poca informazione, perché un dato diventa informazione solo se una decisione dipende dal suo valore: la progettazione procede a ritroso dalle decisioni ricorrenti alle grandezze, mai dall’elenco di ciò che è disponibile.

Nel processo di ricerca la prima fase determina il valore di tutte le altre: tradurre un problema decisionale in un problema di ricerca significa stabilire quali siano le alternative e quale informazione sposterebbe la scelta, e saltare il passaggio produce l’errore più costoso e meno visibile, quello di risolvere accuratamente il problema sbagliato. La ricerca non va fatta quando la decisione è già presa, quando nessun esito la cambierebbe, quando costa più del valore in gioco, quando arriverebbe tardi.

I tre disegni non corrispondono ai tre generi di affermazione del § 3.2: stabiliscono quale inferenza è lecita, e nessuno di essi autorizza da solo una conclusione normativa. Il qualitativo produce comprensione e ipotesi, è affidabile su ciò che le persone fanno più che su perché lo fanno, e generalizzarne i risultati resta l’errore più frequente della ricerca applicata. L’indagine descrittiva misura, ma le risposte sono costruite dalla domanda, e la sua qualità dipende soprattutto da errori che nessun margine dichiarato riporta: copertura, non risposta, misura. Solo l’esperimento fonda affermazioni causali, perché la randomizzazione rende l’appartenenza al gruppo indipendente da ogni caratteristica delle unità; i test A/B sono esperimenti, e si invalidano per potenza insufficiente, interruzione anticipata, confronti multipli, effetti di novità e contaminazione.

Le fonti secondarie vengono prima delle primarie e richiedono tre controlli: definizione, aggiornamento, provenienza. I dati di intento acquistati misurano consumo di contenuti, non intenzione. Una rilevazione condotta interrogando sistemi generativi è riproducibile solo se dichiara prompt, sistema e versione, lingua e mercato, data, ripetizioni, trattamento della variabilità e regola di codifica: misurare in una sola lingua produce una stima distorta in direzione prevedibile.

Domande di verifica

Di richiamo

• Distingui il sistema informativo di marketing dalla ricerca, e indica le tre fonti che alimentano il primo.
• Che cos’è l’errore di terzo tipo, quali sono le sue cause ricorrenti e quale procedura lo previene?
• Elenca le tre famiglie di errore non campionario e spiega, per ciascuna, perché aumentare la dimensione del campione non la riduce.
• Definisci validità di contenuto, di costrutto e di criterio, e spiega perché l’affidabilità è condizione necessaria ma non sufficiente della validità.

Di applicazione

• Un’organizzazione ti chiede di verificare «se il mercato apprezza la nuova offerta». Riformula la richiesta in un problema decisionale e in due problemi di ricerca alternativi, indicando per ciascuno il disegno appropriato e che cosa permetterebbe di concludere.
• Un rapporto riporta che «il 68% dei clienti considera la sostenibilità un criterio prioritario», con un margine d’errore dichiarato del 3%. Formula cinque domande al fornitore prima di usare quel numero, indicando quale errore ciascuna intende accertare.
• Un test confronta due formulazioni di un’offerta per cinque giorni e viene interrotto quando la differenza diventa significativa. Individua tre ragioni per cui il risultato potrebbe non reggere, e per ciascuna la modifica di disegno che la neutralizza.
• Devi valutare come una categoria di offerte viene rappresentata da sistemi generativi in tre mercati di lingua diversa. Progetta il protocollo secondo il § 8.8.2 e indica le tre conclusioni che il tuo disegno non permetterà di trarre.

Attività generative

A. Il comitato che decide se fare ricerca. Simulazione a quattro ruoli, cinquanta minuti. Un ruolo porta una richiesta formulata come si formula nella pratica («vogliamo capire come siamo posizionati», «serve un’indagine sui giovani»). Un secondo la difende come committente e dispone del budget; un terzo la traduce in problema di ricerca e dichiara, per ogni esito possibile, quale azione ne seguirebbe; un quarto applica il § 8.2.4 e sostiene, se ricorre una delle quattro condizioni, che la ricerca non va fatta. Si decide a maggioranza e si verbalizza la ragione. Al termine si contano quante richieste sopravvivono.

B. L’errore che non compare nel margine. Esercizio di analisi documentaria, da svolgere senza sistemi generativi. Individuate una ricerca pubblicata di cui sia disponibile la nota metodologica e ricostruite da quale lista è stato estratto il campione, chi ne resta fuori, quale quota dei contattati ha risposto, come sono formulate le due domande principali. Riscrivete poi una delle due in modo da spostare deliberatamente il risultato nella direzione che preferite, senza dire nulla di falso. Discutete quale delle due formulazioni sia «neutra»: la risposta corretta è che nessuna lo è.

C. Misurare una macchina in modo ripetibile. Confronto critico con un sistema generativo, in gruppi di quattro. Costruite una rilevazione seguendo il protocollo del § 8.8.2: una categoria di offerte, due prompt equivalenti, cinque interrogazioni per prompt in sessioni nuove, in due lingue — venti interrogazioni in tutto, ripartibili fra i componenti del gruppo. Registrate tutto ciò che il protocollo richiede, compreso il punto 8, e riportate i risultati separatamente per lingua con una misura di dispersione. Confrontate quanto divergono le ripetizioni dello stesso prompt e quanto divergono le due lingue: se la seconda differenza non supera la prima, la vostra rilevazione non è in grado di dire nulla sulla lingua. Lo scambio del protocollo con un altro gruppo, che lo ripeta, è facoltativo e raddoppia il valore dell’esercizio.

Rimandi

Approfondiscono concetti qui introdotti: big data, analytics, apprendimento automatico e opacità dei modelli → cap. 9, 9.7 · metriche e cruscotto → cap. 10 · insiemi di considerazione → 11.4 · limiti dell’introspezione → 12.6 · passaparola → 13.7 · mappe di empatia e metodi statistici di segmentazione → 16.4, 16.5 · test di concetto e mercati-test → 24.6 · vendita assistita da sistemi automatici → 29.10 · sperimentazione continua → 30.6 · GEO e visibilità nei sistemi generativi → 32.2, 32.3 · basi giuridiche, consenso, profilazione → 39.2 · dati di prima parte → 39.4 · anticipazione predittiva del bisogno → 39.7.1.

Presuppone: generi di affermazione — descrittivo, normativo, predittivo, da non confondere con i disegni di ricerca → 3.2 · criterio di rilevanza dell’analisi ambientale → 6.1.4 · segnali deboli e rumore → 6.8.3 · definizione del mercato rilevante → 7.1 · analisi dei concorrenti e punti ciechi → 7.4 · distanza fra mercati → 21.6.1.

Letture di approfondimento

• Churchill, G. A. (1979). A paradigm for developing better measures of marketing constructs. Journal of Marketing Research, 16(1), 64–73. — La procedura di costruzione di una scala: il testo più citato della metodologia di marketing, e il più spesso invocato senza essere seguito.
• Groves, R. M., & Lyberg, L. (2010). Total survey error: Past, present, and future. Public Opinion Quarterly, 74(5), 849–879. — Perché il margine dichiarato è la parte meno interessante del problema.
• Schwarz, N. (1999). Self-reports: How the questions shape the answers. American Psychologist, 54(2), 93–105. — Dodici pagine che cambiano il modo di scrivere un questionario.
• Campbell, D. T., & Stanley, J. C. (1963). Experimental and quasi-experimental designs for research. Rand McNally. — L’origine della distinzione fra validità interna ed esterna e il catalogo delle minacce a ciascuna.
• Kohavi, R., Tang, D., & Xu, Y. (2020). Trustworthy online controlled experiments: A practical guide to A/B testing. Cambridge University Press. — Il manuale della sperimentazione online; i capitoli sugli errori tipici valgono il volume.
• Kozinets, R. V. (2002). The field behind the screen: Using netnography for marketing research in online communities. Journal of Marketing Research, 39(1), 61–72. — La formalizzazione del metodo netnografico e dei suoi limiti etici.
• Open Science Collaboration (2015). Estimating the reproducibility of psychological science. Science, 349(6251), aac4716. — Il progetto di replica che ha aperto il dibattito. Da leggere per i numeri, non per le interpretazioni.