Chapter 39. Personal Data, Privacy, Regulation, Algorithmic Ethics

Obiettivi di apprendimento

Al termine di questo capitolo lo studente sarà in grado di:

• spiegare perché esiste una regolazione dei dati personali, riconducendola all’asimmetria informativa e di potere;
• distinguere tre famiglie di regolazione, indicare per ciascuna che cosa lascia scoperto e che cosa cambia per chi progetta un’attività di marketing;
• applicare a un’attività di marketing la distinzione fra lecito, legittimo e accettabile, mostrando che le tre non coincidono;
• porre, prima di progettare un trattamento, le sei domande su finalità, base giuridica, minimo di dati, conservazione, informativa e terzi, sapendo quali valgono in ogni famiglia di regolazione;
• descrivere le architetture che sostituiscono l’identificazione fra siti diversi, e distinguere i tre livelli della trasparenza indicando che cosa di un modello si può realmente spiegare;
• riconoscere i meccanismi per cui una discriminazione algoritmica si produce senza che nessuno l’abbia decisa, e perché nessuna misura tecnica la risolve;
• classificare una scelta di progetto come persuasione legittima o come manipolazione applicando il criterio di dipendenza dall’inconsapevolezza.

Concetti chiave

Dato personale · identificabilità · titolare, responsabile, interessato · lecito, legittimo, accettabile · integrità contestuale · famiglie di regolazione · frammentazione regolatoria · limitazione della finalità · minimizzazione · responsabilizzazione · base giuridica · consenso · legittimo interesse e bilanciamento documentato · diritti dell’interessato · profilazione · decisione interamente automatizzata · valutazione d’impatto · protezione fin dalla progettazione · identificatore dichiarato · ambiente protetto per l’analisi aggregata · frammentazione dell’identità · dati di prima parte · scambio dichiarato · spiegabilità · spiegazione controfattuale · responsabilità dell’atto automatizzato · impatto disparato · variabile correlata · incompatibilità delle definizioni di equità · dark pattern · anticipazione predittiva del bisogno · rettifica dell’output errato

39.1 Il diritto alla protezione dei dati: famiglie di regolazione a confronto

Questo non è un capitolo di diritto. Non si chiede di imparare norme: si chiede di imparare quali domande porsi prima di progettare un’attività che tratta dati personali, quali categorie esistono, e dove passa il confine fra ciò che si può fare, ciò che si può difendere e ciò che è coerente con il rapporto che si dichiara di volere.

39.1.1 Perché esiste una regolazione

All’origine c’è un’asimmetria doppia. Informativa: chi raccoglie sa che cosa raccoglie e a quale scopo, chi è raccolto no. Di potere: chi raccoglie può aggregare dati di contesti diversi e ricavarne ciò che nessuno di essi conteneva, mentre chi è raccolto non può disaggregare, né sapere che l’aggregazione è avvenuta, né spesso rifiutare senza rinunciare al servizio.

Ne segue un punto che il vocabolario corrente oscura: la protezione dei dati non riguarda i segreti. Quasi tutto ciò che il marketing tratta è informazione che la persona ha reso disponibile in qualche contesto. Nissenbaum (2004, 2010) ha proposto la formulazione più utile a chi progetta: un flusso informativo è appropriato quando rispetta le norme del contesto in cui l’informazione è stata conferita. È l’integrità contestuale. Solove (2006) aggiunge che non esiste un danno da privacy ma una famiglia di danni, che richiedono rimedi diversi.

La materia non è però solo un vincolo: il controllo percepito sui propri dati si associa a esiti migliori per l’impresa (Martin & Murphy, 2017; Martin, Borah & Palmatier, 2017). Non è solo un costo: è un attributo dell’offerta.

39.1.2 Tre famiglie di regolazione

La tripartizione è già esposta ai §§ 6.6.2–6.6.3 e non si riespone: legge generale con autorità dedicata; regole settoriali con applicazione giudiziale o per pratiche scorrette; controllo statale dei flussi con localizzazione. Il capitolo 6 ne dà gli assi e l’enunciato che le ordina: differiscono per dove collocano il costo di conformità, non per severità (→ 6.6.2, → 6.6.3). Qui si aggiungono le due cose che quel paragrafo non tratta.

La prima: che cosa ciascuna lascia scoperto. La legge generale lascia scoperta l’effettività, perché gli obblighi si soddisfano formalmente e la sanzione arriva dopo il danno. Le regole settoriali lasciano scoperti chi non opera in un settore disciplinato e chi non ha risorse per agire. Il controllo statale dei flussi lascia scoperta la posizione della persona rispetto a chi amministra il sistema. Dire che una famiglia è più avanzata significa aver scelto quale lacuna si preferisce.

La seconda: che cosa cambia per chi progetta un’attività di marketing. Nella prima famiglia il lavoro si fa prima: si sceglie una base, si minimizza, si documenta, e la conformità è una specifica di progetto. Nella seconda si fa sulle dichiarazioni e sui confini di settore: conta se ciò che si è detto alla persona corrisponda a ciò che accade. Nella terza si fa sull’architettura: dove risiedono i dati, quali trasferimenti sono autorizzati, che cosa va duplicato localmente. Chi trasferisce un’attività da una famiglia all’altra non deve rivedere gli adempimenti: deve rivedere in quale fase del progetto si trova il vincolo.

39.1.3 La frammentazione come decisione strategica

Chi opera in più mercati fronteggia regimi parzialmente sovrapposti, con tre posizioni e nessuna gratuita. Il minimo comune denominatore non è praticabile senza rischio, perché quasi tutte le discipline si applicano in base al luogo in cui si trova la persona. Il massimo elimina il rischio e introduce un costo. L’architettura differenziata è la più efficiente in teoria e la più costosa in pratica. La scelta non è di conformità: è una decisione strategica, perché determina in quali mercati si può competere e con quale struttura di costi (→ 6.6.3, → 21.7).

39.1.4 Lecito, legittimo, accettabile

Serve infine la distinzione che tiene insieme il capitolo, e che i paragrafi successivi useranno senza riformularla.

Lecito è ciò che la norma applicabile consente. Legittimo è ciò che si potrebbe difendere davanti a chi ne subisce gli effetti, se ne fosse informato. Accettabile è ciò che è compatibile con il rapporto che l’impresa dichiara di volere con quelle persone.

Le combinazioni interessanti sono quelle in cui divergono. Un’attività può essere lecita e non legittima: fondata su una base valida, ma tale che nessuno la spiegherebbe volentieri a chi la subisce. Legittima e non lecita: difendibile nel merito e priva di base nell’ordinamento in cui si svolge (→ 37.7.5). Lecita e legittima ma non accettabile per quella impresa, che ha costruito il proprio posizionamento su una promessa incompatibile (→ cap. 18). Il criterio non nasce qui: i §§ 12.7.4, 26.9, 29.10 e 32.7 lo hanno posto in forme progressive — è legittimo ciò che regge alla dichiarazione, non ciò che dipende dall’ignoranza di chi lo subisce.

39.2 Il modello europeo come caso maturo

Sede canonica della disciplina dei dati personali: i capitoli che vi ricorrono rimandano qui e non la riespongono.

Si esamina il modello europeo, e la scelta va motivata. Non è la norma universale: appartiene alla prima delle tre famiglie ed è una delle sue attuazioni possibili. È però il caso più maturo e documentato, e il suo vocabolario è quello con cui la materia si discute anche dove si è scelto altro. Impararne le categorie serve a porre le domande, non a conoscere il diritto applicabile, che va verificato per il proprio mercato.

39.2.1 Le nozioni di base

Un dato personale è qualsiasi informazione riferita a una persona identificata o identificabile, e l’identificabilità non è una proprietà del dato ma una relazione fra esso e i mezzi ragionevolmente disponibili per risalire alla persona: un identificativo di dispositivo o una sequenza di acquisti possono esserlo senza alcun nome (→ 34.5.3). La pseudonimizzazione riduce il rischio senza togliere il dato dalla disciplina; solo l’anonimizzazione irreversibile lo fa, ed è più difficile di quanto si creda.

Alcune categorie ricevono protezione rafforzata: salute, convinzioni, appartenenze, orientamento, biometria identificante. Per il marketing non basta evitare di raccoglierle: occorre evitare di inferirle (→ 39.7.1). Quanto ai ruoli, chi decide finalità e mezzi è il titolare e ne risponde, chi tratta per suo conto è responsabile, la persona è l’interessato: acquistare un dato non trasferisce la responsabilità di chi lo usa per finalità proprie.

39.2.2 I principi

Sette principi governano ogni trattamento e vanno letti come vincoli di progettazione. Liceità, correttezza e trasparenza: un fondamento valido, nessun effetto inatteso, conoscibilità. Limitazione della finalità: i dati non si riusano per finalità incompatibili con quelle dichiarate — il principio che il marketing viola più spesso. Minimizzazione: si raccoglie ciò che serve, non ciò che potrebbe servire (→ 37.7.2). Esattezza: un archivio di dati vecchi non è inefficiente, è irregolare. Limitazione della conservazione, integrità e riservatezza e responsabilizzazione si traducono nelle domande del § 39.2.5.

39.2.3 Le basi giuridiche: consenso e legittimo interesse

Ogni trattamento richiede una base giuridica. Le famiglie sono più d’una — contratto, obbligo di legge, interesse pubblico — ma nel marketing contano soprattutto due.

Il consenso è valido quando è libero, specifico, informato, inequivocabile e revocabile, e ciascun aggettivo esclude qualcosa di concreto: il consenso ottenuto condizionando l’accesso a un servizio che non ne ha bisogno; quello unico per finalità diverse, che vanno separate; la richiesta che non dice chi tratterà i dati e con chi li condividerà; il silenzio e le caselle già selezionate, perché il consenso è un atto, non un’omissione; una revoca più faticosa dell’adesione, che è un difetto di progettazione (→ 26.9.3, → 39.7). Un limite: la gestione individuale della privacy attraverso il consenso funziona male, perché nessuno può valutare centinaia di decisioni separate su usi futuri ignoti (Solove, 2013), e le preferenze dipendono da come la domanda è posta (Acquisti, Brandimarte & Loewenstein, 2015). Un consenso formalmente valido non è per ciò stesso una scelta informata.

Il legittimo interesse consente il trattamento quando l’interesse del titolare non è sopraffatto dai diritti dell’interessato. Regge gran parte del marketing ordinario ed è la base usata peggio, perché sembra una scorciatoia. Non lo è: richiede un bilanciamento documentato in tre passaggi. Esiste un interesse reale, attuale e lecito — non un generico «conoscere meglio il mercato»? Il trattamento è necessario, cioè non esiste un modo meno invasivo? E infine: la persona si attenderebbe ragionevolmente questo trattamento, dato il contesto in cui ha conferito i dati? È l’integrità contestuale del § 39.1.1 tradotta in criterio operativo. La base si sceglie prima, e il bilanciamento si conserva.

39.2.4 Diritti, profilazione, decisioni automatizzate

Alla persona sono riconosciuti diritti che l’impresa deve poter soddisfare: copia dei dati trattati, rettifica, cancellazione, limitazione, portabilità, opposizione — e l’opposizione al marketing diretto è incondizionata. Le conseguenze operative vanno anticipate quando si progettano i sistemi (→ cap. 37): rispondere a una richiesta di accesso richiede di sapere dove sono i dati di una persona, e cancellare richiede di farlo anche nelle copie e presso i fornitori. Un diritto che non si è tecnicamente in grado di soddisfare è un obbligo non rispettato.

Si chiama profilazione qualunque trattamento automatizzato che valuti aspetti di una persona per prevederne comportamenti o situazione: segmentazione algoritmica, punteggi di propensione, modelli di abbandono e stime di valore futuro (→ 9.3, → 37.4). Un regime particolare riguarda le decisioni interamente automatizzate con effetti significativi: non ammesse salvo casi determinati, e comunque con intervento umano e possibilità di contestare l’esito. Il marketing tocca quel perimetro più spesso di quanto ammetta — un prezzo individuale (→ 27.9), l’esclusione automatica da un’offerta (→ 17.5), un livello di servizio per punteggio (→ 37.4.4) — e la prudenza consiste nel trattare l’automatismo come una scelta di cui qualcuno risponde (→ 9.7.4).

39.2.5 Le sei domande da porsi prima, non dopo

Sei domande, in quest’ordine, prima di ogni trattamento. Quale finalità? Formulata in modo che la persona la riconosca leggendola. Quale base giuridica? Scelta e motivata; se è il legittimo interesse, con il bilanciamento scritto. Quale minimo di dati? Risalendo dalla decisione che si vuole prendere. Per quanto tempo? Con un termine e un meccanismo che lo faccia rispettare. Con quale informativa? Disponibile prima della raccolta e coerente con ciò che accade. Con quali terzi? Chi altro vedrà i dati, a quale titolo, in quale luogo. Le completano due domande di governo: chi risponde e come si dimostrerebbe di aver deciso così. Dove il rischio è elevato è previsto uno strumento apposito, la valutazione d’impatto; e l’impianto poggia sulla protezione fin dalla progettazione.

Da dove vengono, e quanto lontano arrivano. Sono la distillazione dei principi della prima famiglia. Quattro reggono in tutte e tre, perché descrivono la struttura di un progetto e non un’architettura di regolazione: finalità, minimo di dati, tempo, terzi. Due vanno sostituite altrove: «quale base giuridica» diventa, nella seconda famiglia, ciò che accade corrisponde a ciò che è stato dichiarato? e nella terza questo flusso è autorizzato, e da chi?; «con quale informativa» diventa questa presentazione potrebbe essere giudicata ingannevole? e quali comunicazioni sono dovute all’autorità prima che alla persona?.

Si applicano poi ai casi lasciati aperti altrove. Dati di intento acquistati (→ 8.6.1): la seconda non è delegabile al fornitore, perché la liceità non si compra insieme al dato. Prospezione automatizzata (→ 29.10): l’opposizione è incondizionata. Tracciamento in un luogo fisico (→ 34.5.3): l’informativa precede l’ingresso, e la finalità di sicurezza non copre quella di marketing. Prodotti connessi (→ 38.4.3): la terza domanda è quella che questi progetti saltano più spesso. Personalizzazione (→ 37.7): soglia di intrusività e base giuridica sono problemi distinti. Prezzo personalizzato (→ 27.9, → 37.7.1): chiude la catena aperta al § 27.9, e va trattato a parte perché nessun capitolo precedente ne stabilisce le condizioni. Sono quattro, e non appartengono ad alcun ordinamento particolare. Serve una base per il trattamento dei dati che determinano il prezzo, distinta da quella che regge la vendita: il prezzo individuale è una finalità propria, non un accessorio del contratto. Il criterio di differenziazione non deve correlare con caratteristiche protette, e poiché la correlazione si produce senza che nessuno la voglia (→ 39.6.1) va verificata sugli esiti. L’esito dev’essere verificabile per gruppo: chi non sa dire quali prezzi ha praticato a quali insiemi di persone non può difendersi. E l’accettabilità dipende dalla trasparenza del meccanismo più che dalla dispersione dei prezzi: un prezzo che varia per una ragione riconoscibile è compreso, uno che varia per una ragione non ricostruibile è percepito come iniquo anche quando è lecito. Resta la quarta domanda: per quanto tempo si conserva il dato che ha determinato il prezzo.

39.3 La fine dei cookie di terze parti e le architetture alternative

39.3.1 Che cosa sta finendo, e per opera di chi

Per due decenni l’infrastruttura della pubblicità digitale ha poggiato su un identificativo depositato sul dispositivo da un soggetto diverso da quello visitato: permetteva di riconoscere la stessa persona su siti non collegati, e quindi di profilare, limitare la frequenza, attribuire una conversione. Due pressioni lo rendono inutilizzabile. Una è regolatoria: in una parte degli ordinamenti — quelli della prima famiglia, e la precisazione va tenuta ferma perché i §§ 39.3 e 39.4 lavorano dentro quella cornice — memorizzare informazioni sul dispositivo per finalità non necessarie richiede una scelta preventiva, e la quota di persone che la concede varia molto fra mercati e con il modo in cui la richiesta è presentata. L’altra è privata: chi controlla sistemi operativi e programmi di navigazione ha limitato quella funzione. La seconda non è regolazione, è una decisione di operatori che competono nel mercato che stanno ridisegnando (→ 36.4).

La conseguenza è quella che il § 30.3 annunciava come rimando obbligato: la frammentazione dell’identità digitale. Se la stessa persona non è più riconoscibile fra sedi diverse, ciò che resta non è un percorso più corto ma un insieme di percorsi separati attribuiti a persone diverse. Le cause tecniche stanno al § 9.2; queste sono quelle regolatorie e di mercato, ed è la parte che il § 30.3.3 rinviava qui.

39.3.2 Le quattro architetture alternative

Dati raccolti direttamente nella relazione (§ 39.4). Identificatori dichiarati: la persona fornisce un riferimento stabile, trasformato in una stringa irreversibile e confrontato con quella calcolata altrove. Ambienti protetti per l’analisi aggregata: due parti conferiscono i propri insiemi in uno spazio in cui nessuna legge quelli dell’altra, e ne escono solo risultati aggregati sopra una soglia. Modellazione: dove l’osservazione diretta manca, si stima.

Ciascuna sposta il problema anziché risolverlo. La prima richiede una ragione per cui la persona accetti di identificarsi. La seconda ricostruisce un identificativo trasversale su base dichiarata anziché occulta, ma concentra il valore presso chi ha molte relazioni dirette. La terza richiede fiducia in chi gestisce l’ambiente. La quarta produce stime che hanno l’aspetto di misure (→ 10.1).

39.3.3 Tre conseguenze pratiche

La misurazione diventa meno precisa, e l’ultimo contatto diventa ancora più dominante proprio mentre è meno informativo (→ 30.4). Il targeting diventa meno granulare: restringere la disponibilità di dati riduce l’efficacia della pubblicità comportamentale (Goldfarb & Tucker, 2011) e consentire alle persone di sottrarsi non è a costo nullo per il settore (Johnson, Shriver & Du, 2020). Il disegno sperimentale torna decisivo, perché non dipende dall’identificazione individuale per stimare un effetto medio (→ 8.5, → 30.4.3).

39.4 Dati di prima parte come asset strategico

39.4.1 Un asset con una passività associata

Vale anche qui la cornice del § 39.1.2: il regime che segue è quello della prima famiglia; altrove cambia il vincolo, non l’argomento economico.

Si chiamano dati di prima parte quelli raccolti direttamente nella relazione: transazioni, interazioni con i propri canali, richieste di assistenza, conferimenti espliciti; la fonte più tipica è il programma fedeltà, progettato proprio per produrli (→ 37.5.4). Sono un asset di mercato nel senso del § 4.5, ma la ragione decisiva è un’altra: sono l’unica base informativa che non dipende da decisioni altrui. Un identificativo di terze parti può essere disattivato; un dato conferito nella relazione resta finché la relazione dura.

Va però detto ciò che i discorsi manageriali omettono: un archivio di dati personali è un asset con una passività iscritta accanto — custodia; rischio di violazione, il cui costo maggiore è reputazionale e ricade su persone che non hanno deciso nulla; obblighi di risposta ai diritti; obsolescenza, perché un dato vecchio è un’affermazione probabilmente falsa su una persona. Da qui la regola più utile del paragrafo: un dato di cui non si sa a quale decisione servirà non è un asset, è solo un rischio.

39.4.2 Lo scambio dichiarato

Se i dati di prima parte richiedono che la persona li conferisca, la domanda è perché dovrebbe. La risposta è lo scambio dichiarato: si chiede un dato in cambio di qualcosa di riconoscibile, e si dice a che cosa serve.

Funziona meglio del prelievo silenzioso per due ordini di ragioni. Il primo è documentato: la disponibilità a conferire dati dipende dalla percezione di correttezza procedurale (Culnan & Armstrong, 1999), un beneficio esplicito e proporzionato migliora la risposta (Schumann, von Wangenheim & Groene, 2014), e dichiarare perché una comunicazione è stata indirizzata a quella persona ha effetti misurabili, favorevoli o sfavorevoli secondo che la spiegazione sia plausibile o riveli una raccolta inattesa (Kim, Barasz & John, 2019). Il secondo è giuridico: un consenso raccolto in uno scambio dichiarato ha più probabilità di essere valido, e un dato conferito è ricostruibile dalla persona, il che sposta la soglia di intrusività (→ 37.7.2, → 37.7.4). Perché sia tale e non una formula il beneficio dev’essere proporzionato, riconoscibile — non l’accesso al servizio che si avrebbe comunque — e il conferimento reversibile (→ 37.4, → 37.7).

39.5 Trasparenza algoritmica, spiegabilità, obblighi emergenti

Sede canonica della trasparenza sui sistemi automatici e sui contenuti generati.

Il discorso corrente confonde tre cose sotto la stessa parola, e distinguerle è la prima operazione utile.

39.5.1 Trasparenza sull’esistenza

È la dichiarazione che una decisione, una selezione o un contenuto sono prodotti da un sistema automatico: non richiede di spiegare nulla, richiede di dire che c’è. È il livello meno costoso e il meno praticato, perché dichiarare riduce l’efficacia (→ 31.8.2, → 29.10.2). Proprio perché ha un costo non può essere lasciata alla convenienza di chi decide: è la condizione tipica in cui un obbligo esterno fa ciò che il mercato non fa.

39.5.2 Trasparenza sul funzionamento: che cosa si può realmente spiegare

Qui il capitolo deve raffreddare un’aspettativa. L’opacità ha tre origini (Burrell, 2016): deliberata, quando il funzionamento è protetto come segreto commerciale; da distanza tecnica; intrinseca alla scala. Solo la prima si risolve con un obbligo di pubblicazione.

Il § 9.7.4 ha già stabilito che una spiegazione approssimata non è il modello. La domanda giusta è «che cosa deve poter dire chi risponde di questa decisione, a chi e quando?». Due strade. A valle, le spiegazioni controfattuali: che cosa avrebbe dovuto essere diverso perché l’esito fosse un altro (Wachter, Mittelstadt & Russell, 2018), che non aprono il modello e danno alla persona qualcosa su cui agire. A monte, la documentazione di progetto: da dove vengono i dati, con quali limiti, per quali usi il sistema è stato valutato (Gebru et al., 2021; Mitchell et al., 2019). È più utile, perché la maggior parte degli errori di questi sistemi si spiega con la loro provenienza, non con la loro matematica.

39.5.3 Trasparenza sull’interlocutore

Il terzo livello è il più semplice: chi riceve una comunicazione ha diritto di sapere se sta interagendo con una persona. L’argomento non è anzitutto giuridico: chi risponde calibra ciò che dice e la fiducia che concede in base a chi crede di avere davanti, e se quella credenza è indotta e falsa la libertà di rifiuto del § 1.2.1 resta formalmente intatta e sostanzialmente svuotata. Due avvertenze: la simmetria vale a parti invertite, perché quando dall’altro lato è un sistema a comparare e ordinare chi vende ha lo stesso interesse a saperlo (→ 36.7.3); e non esiste oggi un mezzo consolidato per verificare una dichiarazione di identità, il che rende l’obbligo effettivo solo verso chi intende rispettarlo.

Oltre la trasparenza: chi risponde. La catena che parte dal § 11.8.3 e passa dal § 36.7.3 chiede una cosa che la trasparenza non dà: se un sistema esegue un acquisto sbagliato, chi ne risponde. Tre posizioni sono concepibili. Il mandante, che ha scelto di delegare e ne trae il beneficio — ma si vedrebbe attribuito un rischio che non può valutare. Il fornitore del sistema, per il difetto di ciò che ha immesso sul mercato — ma l’esito dipende anche da come l’incarico è stato impostato. Il venditore, se ha accettato un ordine automatico senza verificarne il titolo — soluzione che scoraggerebbe l’accettazione di quegli ordini. Nessuna ha oggi una risposta consolidata: le categorie sono state costruite per delegati umani e gli ordinamenti divergono. Chi progetta un’offerta transabile tratti la questione come rischio contrattuale aperto, stabilendo in anticipo che cosa accetta da un processo automatico.

39.5.4 Disclosure del contenuto generato

Il caso della comunicazione è al § 31.8.2, che stabilisce il punto meno negoziabile: la responsabilità editoriale non si trasferisce. Qui si aggiunge il criterio per decidere quando la dichiarazione è dovuta.

La dichiarazione è dovuta quando conoscere l’origine cambierebbe il modo in cui il contenuto viene letto.

Il criterio ordina i casi per intensità. Un testo rifinito con assistenza automatica non cambia lettura se lo si sa; un contenuto generato e presentato come esperienza di qualcuno la cambia; un materiale che rappresenta come accaduto ciò che non è accaduto pone un problema di produzione, non di etichetta (→ 32.5). Le marcature tecniche sono utili e aggirabili, e poiché dichiarare costa la scelta va decisa come politica editoriale.

39.6 Bias, discriminazione, esclusione algoritmica

Sede canonica della discriminazione algoritmica. Il § 17.5.4 ne tratta la versione specifica del targeting e vi rimanda.

39.6.1 Come nasce senza che nessuno la decida

La difficoltà del tema è che l’intuizione corrente cerca un colpevole, e di norma non c’è. Friedman e Nissenbaum (1996) distinguevano tre origini del bias: preesistente nella società da cui vengono i dati, tecnico nelle scelte di rappresentazione, emergente dall’uso in un contesto diverso da quello previsto. Barocas e Selbst (2016) ne hanno tratto la formulazione giuridica: si produce impatto disparato su gruppi protetti senza alcuna intenzione e senza che le variabili protette siano mai state usate.

Quattro meccanismi bastano a spiegare quasi tutti i casi. Variabili correlate: escludere l’attributo protetto non lo elimina, perché altre variabili lo predicono; il modello non usa la caratteristica, usa il suo sostituto. Dati storici che riflettono disparità passate: un sistema addestrato su chi ha risposto apprende chi è stato raggiunto (→ 29.10.1). Obiettivi che premiano ciò che è frequente: minimizzare il costo per contatto sacrifica i gruppi più costosi da raggiungere, e l’esclusione è un sottoprodotto dell’efficienza (→ 17.5.4). Cicli di retroazione: il modello determina chi viene contattato, i contatti generano i dati futuri, i dati confermano il modello (→ 9.7.5).

39.6.2 Le tre forme rilevanti per il marketing

Esclusione dall’offerta. Un gruppo non viene raggiunto e non entra nell’insieme di considerazione. È la forma più insidiosa perché chi non viene raggiunto non sa di essere escluso: il danno non genera segnale, e i cruscotti riportano ciò che è accaduto, non ciò che non è accaduto (→ cap. 10).

Differenziazione delle condizioni. Prezzo, garanzia, tempi, assistenza. Il danno è visibile, ma solo potendosi confrontare con qualcun altro — e la personalizzazione rende il confronto difficile per costruzione (→ 27.9, → 37.4.4).

Rappresentazione. Chi compare, in quali contesti, associato a quali attributi: quando le prestazioni di un sistema di riconoscimento sono peggiori su alcuni gruppi (Buolamwini & Gebru, 2018), un uso commerciale ne eredita la disparità (→ 34.5.3).

39.6.3 Che cosa si può fare, e il limite di ogni misura tecnica

Tre cose sono praticabili, e nessuna richiede di «ispezionare l’algoritmo». Verificare gli esiti per gruppo, non le intenzioni: senza questa misura l’esclusione resta invisibile. Documentare le scelte di progetto: quale obiettivo, quali dati, quali gruppi esaminati. Conservare la sospendibilità: un sistema che seleziona resta una decisione dell’organizzazione, di cui l’organizzazione risponde.

Resta il limite. Esistono più definizioni formali di equità, e alcune sono fra loro matematicamente incompatibili. Kleinberg, Mullainathan e Raghavan (2017) dimostrano che tre condizioni non possono valere insieme, salvo casi degeneri, quando i gruppi hanno tassi di base diversi: punteggio ugualmente calibrato entro ciascun gruppo; bilanciato per chi ha esito positivo, cioè con media uguale fra i gruppi; bilanciato per chi ha esito negativo. Chouldechova (2017) ottiene un risultato affine su un’altra coppia: uguale valore predittivo e uguali tassi di errore non possono coesistere quando la prevalenza differisce. Si noti che la parità demografica — uguali percentuali di selezione — non figura in nessuno dei due teoremi: è un criterio diverso, con una letteratura propria, e confonderlo con questi risultati è l’errore più diffuso nella divulgazione. È un risultato di impossibilità, non un problema di dati migliori, e ne discende la conseguenza gestionale: scegliere quale definizione adottare è una scelta di valore, che spetta a chi risponde della decisione. Selbst e colleghi (2019) mostrano che trattarla come problema tecnico produce sistemi formalmente equi e socialmente inefficaci.

Va infine dichiarata una tensione interna: per verificare gli esiti per gruppo servono dati sull’appartenenza al gruppo, cioè le categorie che il § 39.2.1 protegge in modo rafforzato. Si gestisce con misure aggregate, campioni consenzienti e stime, tutte imperfette (→ 17.5).

39.7 Manipolazione digitale: dark pattern e design persuasivo

Sede canonica della manipolazione nelle interfacce. I §§ 12.7.4, 26.9 e 32.7 vi rimandano. Questo paragrafo dà una ***tassonomia e un criterio di riconoscimento, non un regime giuridico: il quadro comparato della regolazione, cui il § 26.9 rinviava, è al § 39.1.*

Si chiamano dark pattern — schemi ingannevoli di interfaccia — gli elementi di progettazione che inducono le persone a compiere scelte contrarie al proprio interesse sfruttando meccanismi cognitivi noti (→ 12.6, → 12.7). L’espressione è stata coniata nel 2010 dal progettista Harry Brignull su un sito divulgativo: fonte professionale e non referata, ma è quella cui il termine si deve. Non sono errori: sono progettazioni riuscite rispetto a un obiettivo diverso da quello dichiarato.

Le tassonomie disponibili sono due e non coincidono, e presentarle come convergenti sarebbe inesatto. Gray, Kou, Battles, Hoggatt e Toombs (2018), analizzando il lavoro di chi progetta, individuano cinque strategie: insistenza, ostacolo, azioni furtive, interferenza dell’interfaccia, azione forzata. Mathur e colleghi (2019), su una rilevazione automatica su larga scala, individuano sette categorie in parte diverse: azioni furtive, urgenza, sviamento, prova sociale, scarsità, ostacolo, azione forzata. Qui si adotta la seconda, unica fondata su un censimento, integrata con le due voci della prima che essa non contempla: azioni furtive (aggiungere elementi al carrello, rinnovare automaticamente, rivelare un costo all’ultimo passaggio: → 26.9.3, → 36.3.2), urgenza fabbricata, sviamento, prova sociale falsa (→ 31.7), scarsità fabbricata — la più frequente nel censimento di Mathur —, ostacolo a disdetta, rifiuto e confronto, azione forzata, più insistenza e interferenza dell’interfaccia, che vengono da Gray e colleghi.

Una scelta di progetto è manipolativa se il suo funzionamento dipende dal fatto che chi la subisce non se ne accorga.

È il criterio che distingue la manipolazione dalla persuasione: la manipolazione influenza aggirando la capacità di deliberare, e ciò richiede che resti nascosta (Susser, Roessler & Nissenbaum, 2019). Da qui la simmetria che lo rende applicabile: un argomento resta valido se dichiaro che sto argomentando, un conto alla rovescia falso smette di funzionare nell’istante in cui si sa che è falso.

Due precisazioni, già argomentate al § 12.7.4: una presentazione neutra non esiste, e l’intenzione non è necessaria, perché molti schemi nascono dall’ottimizzazione ripetuta di un indicatore (§ 10.1.3). La verifica va fatta sugli esiti. Queste pratiche hanno un costo: le forme più aggressive aumentano l’adesione ma generano risentimento in chi le riconosce (Luguri & Strahilevitz, 2021). Il quadro economico entro cui il fenomeno si colloca è descritto da Zuboff (2019), che però non tratta i dark pattern come categoria di progettazione; sul punto specifico, Calo (2014) osserva che il rapporto fra chi progetta un’interfaccia e chi la usa è asimmetrico per costruzione, perché una sola delle due parti può misurare che cosa funziona.

39.7.1 Anticipazione predittiva del bisogno

Prevedere un bisogno prima che sia espresso è in principio un servizio; resta da stabilire quando smette di esserlo (→ 8.6.1).

Tre fattori spostano un’anticipazione dal servizio all’intrusione. Sensibilità dell’inferenza: dedurre una condizione non dichiarata — una malattia, una difficoltà economica, un lutto — è diverso dal ricordare un acquisto; che tratti sensibili siano inferibili da tracce ordinarie è documentato (Kosinski, Stillwell & Graepel, 2013), e ne discende il punto del § 39.2.1: un’inferenza accurata su una categoria protetta è, ai fini pratici, un dato di quella categoria. La letteratura ha proposto di estendere alle inferenze i diritti che valgono per i dati conferiti (Wachter & Mittelstadt, 2019). Asimmetria di consapevolezza: il disagio nasce dall’impossibilità di ricostruire come ci si è arrivati (→ 37.7.2). Assenza di via d’uscita: non si può interrompere l’inferenza, né correggerla, né sapere che è in corso.

Una previsione è accettabile se la persona, informata di come è stata fatta, non la troverebbe una violazione.

Tre regole lo rendono applicabile, e nessuna richiede di conoscere l’ordinamento. Non mostrare di sapere più di quanto la persona sappia di aver detto: l’inferenza può guidare che cosa si offre senza comparire nel messaggio. Separare l’inferenza dall’azione: una previsione può preparare disponibilità, assistenza o assortimento senza tradursi in una comunicazione individuale. Prevedere una via d’uscita che non costi la rinuncia al servizio (→ 37.7, → 29.10.2).

39.7.2 Rettifica e rimozione dell’output errato

Resta il problema posto e non risolto al § 32.5.1: che cosa può fare un’impresa quando un sistema che non controlla afferma su di lei qualcosa di falso. Le vie sono quattro, tutte parziali. Correzione alla fonte: pubblicare l’informazione mancante e ottenere che fonti terze riportino il dato giusto; è l’unica che agisce sulla causa, ed è lenta (→ 32.6.1). Segnalazione al fornitore: canali disomogenei, di norma senza obbligo di risposta. Rimedi giuridici: le categorie esistono, ma ricorrono tre difficoltà — stabilire chi risponde di un’affermazione prodotta da un sistema, ottenere un provvedimento in tempi compatibili con la vita dell’errore, eseguirlo su repliche che si trovano ovunque. Comunicazione pubblica: funziona quando l’errore già circola; quando non circola, la smentita lo diffonde (→ 25.9).

Nessuna garantisce la correzione, perché le repliche sopravvivono alla correzione dell’originale. Da qui la prescrizione del § 32.6.2, che qui riceve la sua ragione completa: correggere è meglio che rimuovere, perché la rimozione non elimina le repliche sbagliate e sottrae l’unica versione autorevole. L’atto interamente sotto controllo dell’impresa è uno solo — mantenere in sede propria una versione corretta, datata e verificabile — e non garantisce nulla, ma è la condizione perché qualunque altra via funzioni. La capacità di ottenere una rettifica è del resto disuguale, e vale per le persone non meno che per le imprese.

Sintesi del capitolo

La regolazione dei dati personali esiste per una ragione che precede qualunque norma: fra chi raccoglie e chi è raccolto c’è un’asimmetria di informazione e di potere che nessuna delle due parti corregge da sola. Il problema non riguarda i segreti, ma l’appropriatezza dei flussi rispetto al contesto in cui l’informazione è stata conferita. Tre famiglie di regolazione vi rispondono in modo diverso: differiscono per dove collocano il costo e per che cosa lasciano scoperto, e per chi progetta la differenza sta nella fase in cui il vincolo si presenta. Chi opera in più mercati non può adottare né il minimo comune denominatore né il massimo senza pagarne il prezzo: è una decisione strategica, non di conformità.

Attraversa il capitolo una distinzione: lecito è ciò che la norma consente, legittimo ciò che si potrebbe difendere davanti a chi ne subisce gli effetti, accettabile ciò che è coerente con il rapporto che l’impresa dichiara di volere. Il modello europeo, trattato come caso maturo e non come norma universale, fornisce le categorie; le sei domande vanno poste prima di progettare, e quattro valgono in ogni famiglia.

La fine dell’identificazione fra siti diversi sposta il problema anziché risolverlo, frammenta l’identità osservabile e rende di nuovo decisivo il disegno sperimentale. I dati raccolti direttamente sono l’unico asset che non dipende da decisioni altrui, e portano una passività iscritta accanto. La trasparenza si articola su tre livelli, e solo il primo è a basso costo; della responsabilità per l’atto eseguito da un sistema non esiste ancora una risposta consolidata. La discriminazione algoritmica nasce senza che nessuno la decida, e poiché alcune definizioni formali di equità sono incompatibili, scegliere quale adottare è una decisione di valore.

Qui si chiude la Parte VI. La Parte VII — Crescita illuminata e futuri generativi — cambia livello: dalla legittimità di singole pratiche alla domanda su che cosa un’impresa lasci dietro di sé, e su quale idea di crescita il marketing possa sostenere.

Domande di verifica

Di richiamo

• Descrivi le tre famiglie di regolazione indicando, per ciascuna, dove colloca il costo, che cosa lascia scoperto e in quale fase del progetto si presenta il vincolo per chi fa marketing.
• Enuncia i sette principi del trattamento e indica per ciascuno una conseguenza operativa.
• Che cosa rende valido un consenso? Elenca i cinque requisiti e indica, per tre di essi, una pratica corrente che li violerebbe.
• Spiega i tre passaggi del bilanciamento del legittimo interesse e perché non è una scorciatoia rispetto al consenso.

Di applicazione

• Un’impresa acquista punteggi di intento e li usa per selezionare chi contattare. Applica le sei domande del § 39.2.5, indica quali non sono delegabili al fornitore e formula la verifica preliminare.
• Un servizio anticipa una necessità dei clienti sulla base di una previsione costruita su dati d’uso. Applica i tre fattori del § 39.7.1 e riscrivi il messaggio in modo che soddisfi la prima delle tre regole operative.
• Un sistema seleziona i destinatari di una promozione minimizzando il costo per contatto. Elenca le tre verifiche che chiederesti prima di approvarlo e spiega perché nessuna consiste nell’ispezionare l’algoritmo.
• Un’interfaccia d’acquisto presenta un conto alla rovescia, una casella preselezionata per il rinnovo automatico e la disdetta raggiungibile solo per telefono. Classifica ciascun elemento secondo la tassonomia del § 39.7, applica il criterio di riconoscimento e indica quali resterebbero legittimi se modificati.

Attività generative

A. Il registro delle sei domande — esercizio di documentazione, in coppia, una settimana, senza sistemi generativi. Scegliete un’attività di marketing che tratti dati personali e a cui abbiate accesso come utenti. Ricostruite dall’esterno, usando soltanto ciò che vi viene mostrato, le risposte alle sei domande del § 39.2.5. Dove l’informazione non è ricavabile, scrivetelo: le caselle vuote sono il risultato dell’esercizio. Consegnate la tabella e mezza pagina: quale lacuna è più grave per chi conferisce i dati, e perché.

B. Il confine, discusso a voce alta — simulazione di comitato, gruppi di sei, due ore, senza sistemi generativi. Il docente distribuisce dodici schede che descrivono in tre righe una pratica di raccolta o di personalizzazione, senza giudizio. Ogni gruppo la classifica su tre assi separati — lecito, legittimo, accettabile — deliberando a maggioranza e verbalizzando in una riga la ragione decisiva. Riprendete poi le schede in cui i tre assi hanno dato esiti diversi: sono le uniche interessanti. Consegnate il verbale e la domanda supplementare che avrebbe risolto ciascun caso.

C. Dopo l’inferenza: la regola operativa — indagine con sistemi generativi, individuale, una settimana. Descrivete a un sistema generativo, in astratto e senza elementi identificativi, un profilo di consumi, e chiedete quali caratteristiche personali si potrebbero inferire e da quali indizi. Prendete poi le tre inferenze più plausibili e lavorate sulla sola domanda che conta qui, distinta da quella del § 37.7 (che riguarda dove si colloca la soglia): che cosa si fa dopo averle ottenute. Per ciascuna scrivete la regola operativa che applichereste, applicando le tre del § 39.7.1, e indicate quale è la più costosa da rispettare.

Rimandi

Approfondiscono concetti qui introdotti: scambio → 1.2.1 · regolazione comparata → 6.6, 6.6.2, 6.6.3 · esperimenti → 8.5 · dati di intento → 8.6.1 · risoluzione dell’identità → 9.2 · uplift → 9.3 · opacità e retroazione → 9.7 · metriche → 10.1 · euristiche → 12.6 · architettura delle scelte → 12.7.4 · segmenti vulnerabili → 17.5 · conformità in più mercati → 21.7 · crisi di marca → 25.9 · progettazione etica → 26.9 · prezzo personalizzato → 27.9 · prospezione automatizzata → 29.10 · frammentazione dell’identità → 30.3.3 · attribuzione → 30.4 · recensioni false → 31.7 · responsabilità editoriale → 31.8 · governo della presenza → 32.5, 32.6 · manipolazione → 32.7 · tecnologia in negozio → 34.5 · costi rivelati tardi → 36.3.2 · dipendenza dalle piattaforme → 36.4 · commercio agentico → 36.7.3 · portafoglio clienti → 37.4 · programmi fedeltà → 37.5.4 · soglia di intrusività → 37.7 · prodotti connessi → 38.4 · macromarketing → 40.1 · consumatori vulnerabili → 41.4 · autodisciplina → 41.5.

Presuppone: il § 6.6, che passa qui la materia della regolazione comparata; il § 9.7, senza il quale il § 39.5.2 non è comprensibile; il § 12.7, che stabilisce i meccanismi su cui lavora il § 39.7; i §§ 26.9, 29.10 e 32.7, che hanno posto il criterio qui completato.

Letture di approfondimento

Nota sullo statuto delle fonti. Otto delle fonti su cui il capitolo fonda le affermazioni normative più impegnative — Nissenbaum (2004), Solove (2006 e 2013), Barocas & Selbst (2016), Wachter, Mittelstadt & Russell (2018), Wachter & Mittelstadt (2019), Susser, Roessler & Nissenbaum (2019), Calo (2014) — compaiono su riviste giuridiche a direzione studentesca, dove la selezione è redazionale e non avviene per revisione fra pari: è la norma del campo, non un difetto, ma sono argomentazioni autorevoli, non risultati verificati. Fa eccezione Luguri & Strahilevitz (2021). Va registrata una buona pratica: dove un lavoro esiste sia come preprint sia in versione referata, questa Parte cita sempre la seconda.

• Nissenbaum, H. (2004). Privacy as contextual integrity. Washington Law Review, 79(1), 119–157. — Non che cosa è segreto, ma quali flussi sono appropriati al contesto.
• Solove, D. J. (2006). A taxonomy of privacy. University of Pennsylvania Law Review, 154(3), 477–564. — Smonta l’idea che esista un solo danno da privacy.
• Acquisti, A., Brandimarte, L., & Loewenstein, G. (2015). Privacy and human behavior in the age of information. Science, 347(6221), 509–514. — Perché le preferenze dichiarate sono instabili.
• Martin, K. D., & Murphy, P. E. (2017). The role of data privacy in marketing. Journal of the Academy of Marketing Science, 45(2), 135–155. — Colloca la materia dentro il marketing.
• Barocas, S., & Selbst, A. D. (2016). Big data’s disparate impact. California Law Review, 104(3), 671–732. — Come si produce discriminazione senza intenzione.
• Kleinberg, J., Mullainathan, S., & Raghavan, M. (2017). Inherent trade-offs in the fair determination of risk scores. In ITCS 2017, LIPIcs vol. 67, art. 43, pp. 43:1–43:23. Schloss Dagstuhl. https://doi.org/10.4230/LIPIcs.ITCS.2017.43 — Il risultato di impossibilità: tecnico, ma la conclusione è leggibile da chiunque. Accanto a Chouldechova, A. (2017). Fair prediction with disparate impact. Big Data, 5(2), 153–163. https://doi.org/10.1089/big.2016.0047
• Brignull, H. (2010). Dark patterns [risorsa in rete]. — Il conio del termine, dovuto a un progettista. Fonte professionale, non referata: si cita per l’origine, non come evidenza.
• Mathur, A., Acar, G., Friedman, M. J., Lucherini, E., Mayer, J., Chetty, M., & Narayanan, A. (2019). Dark patterns at scale. Proceedings of the ACM on Human-Computer Interaction, 3(CSCW), art. 81, pp. 1–32. https://doi.org/10.1145/3359183 — La rilevazione da cui viene la tassonomia adottata al § 39.7. Da confrontare con Gray, C. M., Kou, Y., Battles, B., Hoggatt, J., & Toombs, A. L. (2018). The dark (patterns) side of UX design. In CHI 2018, art. 534. https://doi.org/10.1145/3173574.3174108, che ne propone una diversa: il confronto è l’esercizio.
• Susser, D., Roessler, B., & Nissenbaum, H. (2019). Online manipulation. Georgetown Law Technology Review, 4(1), 1–45. — La manipolazione definita dalla sua occultezza: la fonte del criterio adottato qui.