Gli Algoritmi Machine imparano dall’esperienza. Quindi possono replicare i Bias societari contenuti nei dati che sono Fed.
Gli algoritmi sono arrivati a governare aspetti molto sensibili delle nostre vite, ma non lo sono sempre trattandoci tutti in modo equo. Potrebbero non capirci o addirittura lavorare contro di noi, secondo gli ospiti della terza puntata della serie di podcast Clarity in a Messy World, Dirk Hovy, Professore Associato di Informatica presso il Dipartimento di Marketing della Bocconi, e Debora Nozza, Postdoctoral Ricercatore presso l’unità di ricerca Data and Marketing Insights della Bocconi.
Se siamo ciò che mangiamo, gli algoritmi valgono quanto ciò di cui vengono nutriti. Per addestrare un algoritmo basato sull’apprendimento automatico, alimentalo con grandi quantità di dati e lascia che apprenda per esperienza. Se fornisci dati che riflettono gli stereotipi della società, l’algoritmo li replicherà.
“Negli Stati Uniti,” il professor Hovy prende un esempio nel podcast, “hanno cercato di automatizzare i giudizi sulle decisioni di cauzione per gli imputati e addestrato il sistema su dati storici, giudizi reali. Quando lo eseguirono, il sistema si rivelò prestare attenzione solo al colore della pelle di un imputato e ne fece l’unica caratteristica decisiva, perché le decisioni storiche erano state effettivamente prevenute contro gli imputati di colore. L’algoritmo stesso non aveva un’ideologia, ma rifletteva il pregiudizio su cui era stato addestrato: rifletteva esattamente il tipo di stereotipi che erano stati presi nelle decisioni che i giudici avevano preso in precedenza”.
Il dottor Nozza, che sta lavorando agli algoritmi di rilevamento dei discorsi d’odio, è incappato in qualcosa di simile. “C’è qualche pregiudizio sociale nel mondo”, dice, “e un modello può apprendere alcuni schemi pericolosi come associare a connotazioni negative la presenza di parole relative a quelle che dovrebbero essere minoranze protette. Un esempio è un algoritmo volto a rilevare la misoginia in un testo di social media che ha classificato come misogini tutti i testi contenenti la parola donne, indipendentemente dal significato. Questo è qualcosa chiamato bias non intenzionale e non vogliamo che accada”.
Clarity in a Messy World, ospitato da David W. Callahan, è il podcast della Bocconi che guarda alle cause dietro le questioni più confuse del nostro tempo.