Cosa sono i pregiudizi dell'AI?
Per distorsioni dell'intelligenza artificiale, o distorsioni dell'AI, si intende la discriminazione sistematica incorporata nei sistemi di intelligenza artificiale, che può rafforzare i preconcetti esistenti e amplificare le discriminazioni, i pregiudizi e gli stereotipi.
default
{}
default
{}
primary
default
{}
secondary
Spiegazione delle distorsioni nell'AI
Le distorsioni nei modelli di AI derivano in genere da due fonti: la progettazione dei modelli stessi e i dati di addestramento utilizzati.
I modelli possono talvolta riflettere i pregiudizi degli sviluppatori che li hanno elaborati, il che li porta a favorire determinati risultati.
Inoltre, le distorsioni possono svilupparsi a causa dei dati utilizzati per l'addestramento dell'AI. I modelli di AI funzionano analizzando grandi set di dati di addestramento in un processo noto come machine learning. Questi modelli identificano schemi e correlazioni all'interno dei dati per fare previsioni e prendere decisioni.
Quando gli algoritmi di AI individuano schemi di pregiudizi storici o disparità sistemiche incorporati nei dati su cui sono addestrati, le loro conclusioni possono a loro volta riflettere tali pregiudizi e disparità. E poiché gli strumenti di machine learning elaborano i dati su vasta scala, anche piccole distorsioni nei dati di addestramento originali possono portare a risultati discriminatori diffusi.
In questo articolo approfondiremo l'origine delle distorsioni dell'AI, il modo in cui si manifestano nel mondo reale e il motivo per cui è fondamentale affrontarle.
L'importanza di affrontare le distorsioni dell'AI
I pregiudizi sono insiti in tutti gli esseri umani. Sono il risultato di una prospettiva limitata del mondo e della tendenza a generalizzare le informazioni per semplificare l'apprendimento. I problemi etici, tuttavia, sorgono quando i pregiudizi causano danni agli altri.
Gli strumenti di AI che sono influenzati da pregiudizi umani possono amplificare questo danno a livello sistematico, soprattutto perché vengono integrati nelle organizzazioni e nei sistemi che plasmano la nostra vita moderna.
Si pensi per esempio ai chatbot nell'e-commerce, alla diagnostica nella sanità, al reclutamento nelle risorse umane e alla sorveglianza nelle forze dell'ordine. Tutti questi strumenti promettono di migliorare l'efficienza e di fornire soluzioni innovative, ma comportano anche rischi significativi se non vengono gestiti con attenzione. Le distorsioni in questi tipi di strumenti di AI possono esacerbare le disuguaglianze esistenti e creare nuove forme di discriminazione.
Immagina che una commissione per la libertà vigilata consulti un sistema di AI per determinare la probabilità di recidiva di un detenuto. Non sarebbe etico per l'algoritmo fare un collegamento tra la razza o il genere del detenuto nel determinare tale probabilità.
Anche le distorsioni nelle soluzioni di AI generativa possono portare a risultati discriminatori. Per esempio, se un modello di AI viene utilizzato per creare descrizioni delle mansioni, deve essere progettato per evitare di incorporare un linguaggio preconcetto o di escludere inavvertitamente alcune categorie demografiche. La mancata considerazione di queste distorsioni potrebbe portare a pratiche di assunzione discriminatorie e perpetuare le disuguaglianze nella forza lavoro.
Esempi come questo illustrano perché è fondamentale che le organizzazioni adottino un'AI responsabile, trovando il modo di mitigare le distorsioni prima di utilizzare l'intelligenza artificiale per prendere decisioni che riguardano persone reali. Garantire l'equità, l'accuratezza e la trasparenza dei sistemi di AI è essenziale per salvaguardare le persone e mantenere la fiducia del pubblico.
Prodotto SAP
SAP Business AI
Ottieni risultati concreti grazie all'AI incorporata nei processi di core business.
Da dove vengono le distorsioni dell'AI?
Le distorsioni dell'AI possono provenire da diverse fonti che possono influenzare l'equità e l'affidabilità dei sistemi di AI:
Distorsioni dei dati: le distorsioni presenti nei dati utilizzati per addestrare i modelli di AI possono portare a risultati distorti. Se i dati di addestramento rappresentano prevalentemente determinate categorie demografiche o contengono pregiudizi storici, l'AI rifletterà questi squilibri nelle sue previsioni e decisioni.
Distorsioni algoritmiche: queste si verificano quando la progettazione e i parametri degli algoritmi introducono inavvertitamente delle distorsioni. Anche se i dati non sono distorti, il modo in cui gli algoritmi elaborano e danno priorità a certe caratteristiche rispetto ad altre può portare a risultati discriminatori.
Pregiudizio umano nelle decisioni: il pregiudizio umano, noto anche come bias cognitivo, può infiltrarsi nei sistemi di AI attraverso decisioni soggettive nell'etichettatura dei dati, nello sviluppo dei modelli e in altre fasi del ciclo di vita dell'AI. Queste distorsioni riflettono i pregiudizi e i bias cognitivi degli individui e dei team coinvolti nello sviluppo delle tecnologie di AI.
Distorsioni dell'AI generativa: i modelli di AI generativa, come quelli utilizzati per la creazione di testi, immagini o video, possono produrre contenuti distorti o inappropriati in base ai pregiudizi presenti nei dati di addestramento. Tali modelli possono rafforzare gli stereotipi o generare risultati che emarginano determinati gruppi o punti di vista.
Esempi di distorsioni nell'AI
Gli impatti delle distorsioni dell'AI possono essere diffusi e profondi, influenzando vari aspetti della società e della vita delle persone.
Di seguito sono riportati alcuni esempi di come le distorsioni nell'AI possano influire su diversi scenari:
Affidabilità creditizia e prestiti: gli algoritmi di determinazione dell'affidabilità creditizia possono svantaggiare alcuni gruppi socioeconomici o razziali. Per esempio, i sistemi potrebbero essere più severi nei confronti dei soggetti provenienti da quartieri a basso reddito, portando a tassi di rifiuto più elevati.
Assunzione e reclutamento: gli algoritmi di screening e i generatori di descrizioni delle mansioni possono perpetuare i pregiudizi sul posto di lavoro. Per esempio, uno strumento potrebbe favorire i termini tradizionalmente associati agli uomini o accentuare il divario occupazionale, penalizzando le donne e i caregiver.
Settore sanitario: l'AI può introdurre distorsioni nelle diagnosi e nelle raccomandazioni terapeutiche. Per esempio, i sistemi addestrati sui dati di un singolo gruppo etnico potrebbero sbagliare la diagnosi di altri gruppi.
Istruzione: gli algoritmi di valutazione e ammissione possono essere di parte. Per esempio, un'AI che preveda il successo degli studenti potrebbe favorire quelli provenienti da scuole ben finanziate rispetto a quelli provenienti da contesti con scarse risorse.
Forze dell'ordine: gli algoritmi di polizia predittiva possono portare a pratiche distorte. Per esempio, potrebbero prevedere tassi di criminalità più elevati nei quartieri in cui vivono le minoranze, con conseguente eccesso di sorveglianza.
Riconoscimento facciale: i sistemi di AI spesso hanno problemi di accuratezza demografica. Per esempio, potrebbero avere tassi di errore più elevati nel riconoscimento delle tonalità di pelle più scure.
Riconoscimento vocale: i sistemi di AI conversazionale possono mostrare pregiudizi contro certi accenti o dialetti. Per esempio, gli assistenti AI potrebbero avere difficoltà con i non madrelingua o con gli accenti regionali, riducendo la fruibilità.
Generazione di immagini: i sistemi di generazione di immagini basati sull'AI possono ereditare i pregiudizi presenti nei dati di addestramento. Per esempio, un generatore di immagini potrebbe sottorappresentare o rappresentare in modo errato alcuni gruppi razziali o culturali, generando stereotipi o emarginazione nelle immagini prodotte.
Suggerimenti sui contenuti: gli algoritmi possono perpetuare le "camere dell'eco". Per esempio, un sistema potrebbe mostrare contenuti politici di parte, rafforzando i punti di vista esistenti.
Assicurazioni: gli algoritmi possono determinare ingiustamente i premi o l'idoneità. Per esempio, i premi basati sui codici di avviamento postale potrebbero comportare costi più elevati per le comunità appartenenti alle minoranze.
Social media e moderazione dei contenuti: gli algoritmi di moderazione possono applicare le politiche in modo incoerente. Per esempio, i post di una minoranza potrebbero essere ingiustamente segnalati come offensivi rispetto a quelli di un gruppo maggioritario.
Quali sono gli impatti delle distorsioni dell'AI?
Gli impatti delle distorsioni dell'AI possono essere diffusi e profondi. Se non vengono affrontate, le distorsioni dell'AI possono aggravare le disuguaglianze sociali, rafforzare gli stereotipi e infrangere le leggi.
Disuguaglianze sociali: le distorsioni dell'AI possono esacerbare le disuguaglianze sociali esistenti, colpendo in modo sproporzionato le comunità marginalizzate e portando a ulteriori disparità economiche e sociali.
Rafforzamento degli stereotipi: i sistemi di AI distorti possono rafforzare stereotipi dannosi, perpetuando la percezione e il trattamento negativo di alcuni gruppi in base alla razza, al genere o ad altre caratteristiche. Per esempio, i modelli di elaborazione del linguaggio naturale (NLP) possono associare determinati lavori a un solo genere, perpetuando così i pregiudizi di genere.
Problemi etici e legali: la presenza di distorsioni nell'AI solleva notevoli problemi etici e legali, mettendo in discussione l'equità e la giustizia delle decisioni automatizzate. Le organizzazioni devono affrontare questi problemi con attenzione per rispettare gli standard legali e adempiere alle responsabilità etiche.
Impatti economici: gli algoritmi distorti possono svantaggiare ingiustamente alcuni gruppi, limitando le opportunità di lavoro e perpetuando la disuguaglianza sul posto di lavoro. Le piattaforme di assistenza clienti basate sull'AI, come i chatbot, possono offrire un servizio peggiore ad alcuni gruppi demografici, causando insoddisfazione e perdita di business.
Impatti aziendali: le distorsioni nei sistemi di AI possono portare a un processo decisionale errato e a una riduzione della redditività. Le aziende possono subire danni alla reputazione se le distorsioni nei loro strumenti di AI diventano pubbliche, perdendo potenzialmente la fiducia dei clienti e la quota di mercato.
Impatti sulla salute e sulla sicurezza: in ambito sanitario, strumenti diagnostici distorti possono portare a diagnosi errate o a piani di trattamento non ottimali per determinati gruppi, aggravando le disparità sanitarie.
Benessere psicologico e sociale: l'esposizione regolare a decisioni distorte dell'AI può causare stress e ansia alle persone colpite, con un impatto sulla loro salute mentale.
Come mitigare le distorsioni nell'AI
Per affrontare efficacemente e mitigare le distorsioni nei sistemi di AI è necessario un approccio globale. Queste sono alcune strategie chiave che possono essere impiegate per ottenere risultati corretti ed equi:
Tecniche di pre-elaborazione dei dati: comportano la trasformazione, la pulizia e il bilanciamento dei dati per ridurre l'influenza delle discriminazioni prima che i modelli di AI li utilizzino per l'addestramento.
Algoritmi consapevoli dell'equità: questo approccio prevede regole e linee guida per garantire che i risultati generati dai modelli di AI siano equi per tutti gli individui o i gruppi coinvolti.
Tecniche di post-elaborazione dei dati: la post-elaborazione dei dati adegua i risultati dei modelli di AI per garantire un trattamento equo. A differenza della pre-elaborazione, questa calibrazione avviene dopo che è stata presa una decisione. Per esempio, un modello linguistico di grandi dimensioni che genera testi può includere uno screener per rilevare ed escludere l'incitazione all'odio.
Revisione e trasparenza: la supervisione umana è incorporata nei processi per verificare che le decisioni generate dall'AI siano imparziali ed eque. Gli sviluppatori possono anche fornire visibilità sul modo in cui i sistemi di AI giungono alle conclusioni e decidere il peso da dare a tali risultati. Questi vengono poi utilizzati per perfezionare ulteriormente gli strumenti di AI coinvolti.
Il contributo dell'AI per porre fine alle distorsioni
L'intelligenza artificiale ha il potenziale per essere un potente strumento di monitoraggio e prevenzione delle distorsioni nei sistemi di AI. Scopri come le organizzazioni possono utilizzare l'AI per garantire equità e inclusività.
Sforzi collaborativi per mitigare le distorsioni dell'AI
Per le aziende che utilizzano soluzioni di AI per l'impresa, affrontare le distorsioni dell'intelligenza artificiale richiede un approccio cooperativo che coinvolga i reparti chiave. Le strategie fondamentali includono:
- Collaborazione con i team di dati: le organizzazioni dovrebbero collaborare con i professionisti dei dati per implementare audit rigorosi e garantire che i set di dati siano rappresentativi e privi di distorsioni. Sono necessarie revisioni regolari dei dati di addestramento utilizzati nei modelli di AI per identificare potenziali problemi.
- Coinvolgimento degli uffici legali e di compliance: è importante collaborare con i team legali e di compliance per stabilire politiche e framework di governance chiari che impongano trasparenza e non discriminazione nei sistemi di AI. Questa collaborazione contribuisce a mitigare i rischi associati a risultati distorti.
- Rafforzamento della diversità nello sviluppo dell'AI: le organizzazioni dovrebbero promuovere la diversità tra i team coinvolti nella creazione dell'AI, poiché le diverse prospettive sono fondamentali per riconoscere e affrontare distorsioni che altrimenti potrebbero passare inosservate.
- Supporto per iniziative di formazione: le aziende possono investire in programmi di formazione che enfatizzino le pratiche inclusive e la consapevolezza delle distorsioni nell'AI. Ciò può includere workshop o collaborazioni con organizzazioni esterne per promuovere le best practice.
- Definizione di solide strutture di governance: le aziende dovrebbero implementare framework di governance che stabiliscano la responsabilità e la supervisione dei sistemi di AI. Ciò include la definizione di linee guida chiare per l'uso etico dell'AI e la garanzia di un monitoraggio regolare per valutare la conformità agli standard stabiliti.
L'implementazione di queste strategie consente alle organizzazioni di impegnarsi per ottenere sistemi di AI più equi, promuovendo al contempo una cultura inclusiva sul posto di lavoro.
Tendenze emergenti nello sviluppo dell'AI equa
Diverse tendenze emergenti mirano a rendere l'AI più corretta ed equa:
Explainable AI (XAI): c'è una crescente richiesta di trasparenza nei processi decisionali dell'AI. L'Explainable AI mira a rendere comprensibile agli utenti il funzionamento dei sistemi di AI, aiutandoli a capire come vengono prese le decisioni e a garantire la responsabilità.
Progettazione incentrata sull'utente: lo sviluppo dell'AI è sempre più focalizzato sulle esigenze e sulle prospettive degli utenti, assicurando che i sistemi siano progettati tenendo conto dell'inclusività. Questa tendenza incoraggia il feedback di diversi gruppi di utenti per informare il processo di sviluppo.
Coinvolgimento della comunità: le aziende stanno iniziando a coinvolgere le comunità interessate dai sistemi di AI per raccogliere input e feedback, contribuendo a garantire che il processo di sviluppo tenga conto delle esigenze e delle preoccupazioni delle diverse parti interessate.
Utilizzo di dati sintetici: per ovviare alla scarsità di dati e alle distorsioni, le organizzazioni stanno esplorando l'uso di dati sintetici per aumentare i set di addestramento. Questo approccio consente di creare set di dati diversificati senza compromettere la privacy.
Fairness By Design: questo approccio proattivo integra le considerazioni sull'equità nel ciclo di vita dello sviluppo dell'AI fin dall'inizio, anziché come elemento successivo. Include lo sviluppo di algoritmi equi e la conduzione di valutazioni d'impatto durante la fase di progettazione.
La collaborazione attraverso questi approcci può ridurre in modo significativo le distorsioni dell'AI, assicurando che le tecnologie di intelligenza artificiale siano al servizio di un bene più ampio e vadano a beneficio di tutti i segmenti della società in modo equo.
Prodotto SAP
AI responsabile con SAP
Scopri come SAP applica l'AI nel rispetto dei massimi standard etici, di sicurezza e di privacy.