Na czym polega stronniczość AI?
Tendencyjność sztucznej inteligencji, czyli tendencyjność AI, oznacza obecność w systemach AI danych lub mechanizmów dyskryminujących, które powodują utrwalanie istniejących uprzedzeń i stereotypów, wzmacniając dyskryminację i stronniczość.
default
{}
default
{}
primary
default
{}
secondary
Wyjaśnienie tendencyjności sztucznej inteligencji
Tendencyjność w modelach AI ma zwykle dwie podstawy. Pierwszą jest projekt samych modeli, a drugą — dane treningowe, które wykorzystują.
Zdarza się, że modele odzwierciedlają założenia programistów odpowiedzialnych za ich kodowanie, co prowadzi do faworyzowania pewnych danych wyjściowych.
Źródłem tendencyjności AI mogą być także dane wykorzystywane do trenowania sztucznej inteligencji. Działanie modeli AI opiera się na analizie dużych zbiorów danych treningowych w ramach procesu tzw. uczenia maszynowego. Modele identyfikują występujące w obrębie tych zbiorów wzorce i zależności, aby na ich podstawie generować prognozy i podejmować decyzje.
Gdy algorytmy AI wykrywają stronnicze wzorce z przeszłości lub ogólne dysproporcje danych, na których są szkolone, istnieje ryzyko, że odzwierciedlą je w generowanych danych wyjściowych. Ponieważ narzędzia uczenia maszynowego przetwarzają potężne ilości danych, nawet niewielka stronniczość pierwotnych danych treningowych może spowodować rozpowszechnianie dyskryminujących treści na ogromną skalę.
Z tego artykułu dowiesz się w szczegółach, skąd bierze się tendencyjność AI, jak przejawia się w świecie rzeczywistym oraz dlaczego rozwiązanie tego problemu ma tak duże znaczenie.
Znaczenie poszukiwania rozwiązań problemu tendencyjności sztucznej inteligencji
Nie ma ludzi wolnych od uprzedzeń. Są one efektem ubocznym ograniczonego postrzegania świata oraz tendencji do generalizowania w celu łatwiejszego zapamiętywania informacji. Problemy natury etycznej pojawiają się, gdy uprzedzenia powodują krzywdę innych.
Pod wpływem ludzkich uprzedzeń narzędzia oparte na sztucznej inteligencji mogą systematycznie przyczyniać się do zwiększania skali tej krzywdy — zwłaszcza, że coraz częściej wdraża się je w firmach i systemach, które kształtują dziś nasze życie.
Pomyśl o wykorzystywanych w handlu elektronicznym czatbotach, narzędziach diagnostycznych używanych w sektorze opieki zdrowotnej, narzędziach wspomagających działy kadr w rekrutacji czy systemach nadzoru wykorzystywanych przez służby porządkowe. Wszystkie te technologie mają zwiększyć wydajność i zapewnić innowacyjne rozwiązania, ale korzystanie z nich bez odpowiedniego zarządzania stwarza znaczące ryzyko. Tendencyjność tego rodzaju narzędzi AI może nasilić problem nierówności i przyczynić się do powstania nowych form dyskryminacji.
Wyobraź sobie przypadek, w którym rada ds. zwolnień warunkowych używa systemu AI do obliczenia prawdopodobieństwa ponownego popełnienia przez więźnia czynu zabronionego. Nieetyczne byłoby wykorzystanie w tym celu algorytmu dokonującego wyliczeń z uwzględnieniem zmiennych takich jak rasa czy płeć.
Dyskryminujące treści mogą być także efektem tendencyjności rozwiązań opartych na generatywnej AI. Jeśli model AI ma służyć — na przykład — do tworzenia opisów stanowisk, należy zaprojektować go tak, aby nie używał języka dyskryminującego ani nie wykluczał przypadkowo pewnych profili demograficznych. Ignorowanie uprzedzeń może doprowadzić do dyskryminujących praktyk rekrutacyjnych i utrwalenia problemu nierówności wśród personelu.
Tego rodzaju przykłady pokazują, dlaczego organizacje muszą stosować praktyki odpowiedzialnego korzystania z AI, poszukując sposobów na ograniczenie tendencyjności przed użyciem sztucznej inteligencji do podejmowania decyzji wpływających na realne osoby. Kładzenie nacisku na sprawiedliwe, rzetelne i przejrzyste funkcjonowanie systemów AI ma kluczowe znacznie dla ochrony jednostki i utrzymania zaufania społecznego.
Produkt firmy SAP
SAP Business AI
Osiągaj rzeczywiste wyniki dzięki integracji sztucznej inteligencji z podstawowymi procesami biznesowymi.
Co jest powodem tendencyjności AI?
Tendencyjność AI wpływa na rzetelność i bezstronność systemów AI. Może wynikać z kilku przyczyn.
Tendencyjność danych: uprzedzenia występujące w danych wykorzystywanych do uczenia modeli AI mogą prowadzić do generowania tendencyjnych danych wyjściowych. Jeśli dane treningowe dotyczą w większości tylko niektórych profili demograficznych lub odzwierciedlają uprzedzenia historyczne, sztuczna inteligencja będzie powielać te problemy w generowanych prognozach i podejmowanych decyzjach.
Tendencyjność algorytmu: występuje, gdy projekt i parametry algorytmów niezamierzenie wprowadzają tendencyjność. Nawet jeśli dane są nietendencyjne, sposób, w jaki algorytmy przetwarzają niektóre właściwości i nadają im priorytety, może skutkować dyskryminującymi danymi wyjściowymi.
Ludzka stronniczość decyzyjna: pewne uprzedzenia ludzi — nazywane również błędami poznawczymi — mogą przenikać do systemów AI za sprawą subiektywnych decyzji dotyczących etykietowania danych, tworzenia modeli i innych działań na różnych etapach cyklu funkcjonowania narzędzi AI. Uprzedzenia te odzwierciedlają stronnicze założenia i błędy poznawcze jednostek i zespołów opracowujących technologie AI.
Tendencyjność generatywnej sztucznej inteligencji: modele generatywnej sztucznej inteligencji, używane na przykład do generowania tekstu, obrazów czy filmów, mogą wytwarzać tendencyjne lub niestosowne treści na podstawie tendencyjnych danych treningowych. Modele te mogą utrwalać stereotypy lub generować dane wyjściowe marginalizujące pewne grupy bądź perspektywy.
Przykłady tendencyjności AI
Wpływ tendencyjności sztucznej inteligencji na różne aspekty społeczeństwa i życia jednostek może być dotkliwy i mieć ogromną skalę.
Poniżej wskazujemy kilka przykładów potencjalnych skutków tendencyjności AI w różnych scenariuszach.
Punktowa ocena zdolności kredytowej i udzielanie pożyczek: algorytmy punktowej oceny zdolności kredytowej mogą dyskryminować pewne grupy socjoekonomiczne lub rasowe. Oparte na wadliwych algorytmach systemy będą bardziej surowe na przykład względem wnioskodawców z dzielnic o niskich dochodach, co przełoży się na wyższy wskaźnik odrzucanych wniosków.
Zatrudnienie i rekrutacja: Algorytmy kontroli i generatory opisów stanowisk mogą utrwalać uprzedzenia w miejscu pracy. Narzędzie może na przykład faworyzować tradycyjne określenia męskoosobowe lub penalizować luki w zatrudnieniu, co spowodowałoby dyskryminację kobiet i osób sprawujących opiekę nad dziećmi.
Opieka zdrowotna: AI może wprowadzać tendencyjność w diagnozach i zaleceniach leczenia. Systemy przeszkolone na podstawie danych dotyczących jednej grupy etnicznej mogą, na przykład, błędnie diagnozować inne grupy.
Edukacja: algorytmy oceny i przyjmowania kandydatów mogą być stronnicze. Sztuczna inteligencja przewidująca sukces uczniów może, na przykład, faworyzować uczniów z dobrze finansowanych szkół względem uczniów z placówek niedofinansowanych.
Egzekwowanie prawa: algorytmy predykcyjne służb porządkowych mogą prowadzić do stronniczych praktyk, przewidując, na przykład, wyższe wskaźniki przestępczości w dzielnicach zamieszkiwanych przez mniejszości, co skutkuje nadmierną kontrolą.
Rozpoznawanie twarzy: systemy AI często borykają się z trafnością dopasowań w różnych grupach demograficznych. Wyższe wskaźniki błędów mogą występować na przykład przy wykrywaniu ciemniejszych odcieni skóry.
Rozpoznawanie głosu: systemy oparte na konwersacyjnej AI odrzucają niekiedy określone akcenty lub dialekty. Przykładem mogą być problemy asystentów AI z rozpoznawaniem mowy nierodzimych użytkowników języka lub osób z akcentami regionalnymi, co zmniejsza użyteczność rozwiązania.
Generowanie obrazów: zdarza się, że oparte na sztucznej inteligencji systemy generowania obrazów odzwierciedlają tendencyjność danych treningowych. Generator obrazu może, na przykład, marginalizować niektóre grupy rasowe czy kulturowe lub błędnie je przedstawiać, co prowadzi do utrwalania stereotypów lub wykluczania pewnych zbiorowości w generowanych obrazach.
Rekomendacja treści: algorytmy niekiedy utrwalają bańki informacyjne. System może, na przykład, rekomendować tendencyjne treści polityczne, umacniając istniejące przekonania.
Ubezpieczenia: algorytmy mogą niesprawiedliwe wyznaczać wysokość składek lub odmawiać kwalifikacji do ubezpieczenia pewnym grupom. Istnieje ryzyko, że algorytm ustalający wysokość składek w oparciu o kod pocztowy spowoduje obarczenie wyższymi kosztami społeczności mniejszościowych.
Media społecznościowe i moderacja treści: istnieje ryzyko niekonsekwentnego egzekwowania zasad przez algorytmy moderujące. Wpisy użytkowników reprezentujących mniejszości mogą być na przykład niesprawiedliwie oznaczane jako obraźliwe, podczas gdy podobne wpisy użytkowników z grup większościowych nie są penalizowane.
Jakie są konsekwencje tendencyjności AI?
Wpływ tendencyjności sztucznej inteligencji może być dotkliwy i mieć ogromną skalę. Istnieje ryzyko, że problem ten — jeśli nie zostanie rozwiązany — pogłębi nierówności społeczne, wzmocni stereotypy i doprowadzi do przypadków łamania prawa.
Nierówności społeczne: sztuczna inteligencja może wzmocnić istniejące nierówności społeczne poprzez niewspółmierne oddziaływanie na społeczności marginalizowane, powodując dalsze dysproporcje gospodarcze i społeczne.
Utrwalanie stereotypów: systemy sztucznej inteligencji mogą utrwalać szkodliwe stereotypy, normalizując negatywne postrzeganie i traktowanie niektórych grup należących do konkretnej rasy lub płci bądź posiadających inne cechy. Modele przetwarzania języka naturalnego (NLP) mogą, na przykład, kojarzyć pewne stanowiska z określoną płcią, utrwalając uprzedzenia w tym zakresie.
Obawy natury etycznej i prawnej: tendencyjność AI budzi poważne obawy natury etycznej i prawnej w zakresie sprawiedliwości i bezstronności podejmowanych automatycznie decyzji. Organizacje muszą podchodzić do tych kwestii z wyjątkową ostrożnością, pilnując przestrzegania standardów prawnych i odpowiedzialnego etycznie postępowania.
Wpływ na gospodarkę: algorytmy analityczne mogą dyskryminować niektóre grupy, ograniczając możliwości zatrudnienia i utrwalając problem nierówności w miejscu pracy. Z kolei oparte na sztucznej inteligencji platformy do obsługi klienta, takie jak czatboty, mogą mniej skuteczniej obsługiwać niektóre grupy demograficzne, co prowadzi do niezadowolenia i utraty klientów.
Konsekwencje biznesowe: tendencyjność systemów AI może powodować błędy w procesie podejmowania decyzji i spadek rentowności. Jeśli kwestia tendencyjności wykorzystywanych przez firmy narzędzi AI zostanie nagłośniona w przestrzeni publicznej, będzie się to wiązało z uszczerbkiem na reputacji, a w konsekwencji z utratą zaufania klientów i udziałów rynkowych.
Wpływ na zdrowie i bezpieczeństwo: tendencyjne narzędzia diagnostyczne w opiece zdrowotnej mogą prowadzić do stawiania nieprawidłowych diagnoz lub nieoptymalnych planów leczenia niektórych grup, a w konsekwencji pogłębiać problem nierównego dostępu do wysokiej jakości opieki zdrowotnej.
Zdrowie psychiczne i dobrostan społeczny: regularna ekspozycja na tendencyjne decyzje AI może wywoływać stres i niepokój u grup, których one dotyczą, wpływając na ich zdrowie psychiczne.
Jak ograniczyć tendencyjność AI?
Skuteczne zajęcie się problemem tendencyjności systemów AI i ograniczenie jego szkodliwych konsekwencji wymaga wymaga kompleksowego podejścia. Poniżej przedstawiamy kilka kluczowych strategii, które możesz wdrożyć, aby uzyskać bardziej bezstronne i rzetelne wyniki.
Techniki wstępnego przetwarzania danych: obejmują przekształcanie, czyszczenie i równoważenie danych w celu zmniejszenia ograniczenia tendencyjności przed szkoleniem modeli AI.
Sprawiedliwość w algorytmach: to system kodowania w reguł i wytycznych, którego celem jest ograniczenie tendencyjności generowanych przez AI treści i sprawiedliwe traktowanie wszystkich jednostek i grup, których one dotyczą.
Techniki końcowego przetwarzania danych: końcowe przetwarzanie danych pozwala dostosować wyniki generowane przez modele AI, zapewniając sprawiedliwe traktowanie. W przeciwieństwie do przetwarzania wstępnego to dostosowanie następuje już po podjęciu decyzji. Duży model językowy generujący tekst może na przykład zawierać oprogramowanie kontrolne wykrywające i filtrujące mowę nienawiści.
Audyty i transparentność: nadzór ludzki jest częścią procesów audytu decyzji generowanych przez AI pod kątem tendencyjności i sprawiedliwości. Programiści mogą też zadbać o transparentność sposobu, w jaki systemy AI osiągają wnioski, a także zdecydować, jakie znaczenie przypisać tym wynikom. Wyniki te są następnie wykorzystywane do dalszego doskonalenia danego narzędzia AI.
Korzystanie ze sztucznej inteligencji w celu wyeliminowania tendencyjności
Sztuczna inteligencja może być skutecznym narzędziem do monitorowania i zapobiegania tendencyjności w systemach AI. Dowiedz się, jak przy użyciu sztucznej inteligencji organizacje są w stanie promować sprawiedliwe traktowanie i inkluzywność.
Wspólne dążenia do ograniczania tendencyjności AI
W przypadku firm korzystających z rozwiązań AI dla przedsiębiorstw rozwiązanie problemu tendencyjności AI wymaga podejścia opartego na współpracy z kluczowymi działami. Podstawowe strategie obejmują:
- Współpracę z zespołami ds. zarządzania danymi: organizacje powinny współpracować z ekspertami ds. zarządzania danymi w celu wdrożenia rygorystycznych audytów i zapewnienia odpowiedniej reprezentatywności w zbiorach danych, a także eliminacji obecnych w nich uprzedzeń. Aby zidentyfikować potencjalne problemy, konieczna jest regularna weryfikacja danych treningowych używanych do szkolenia modeli AI.
- Działania na rzecz zgodności z prawem i przepisami: istotnym elementem jest współpraca z działem prawnym i zespołem ds. zgodności z przepisami w celu ustanowienia klarownych zasad i ram nadzoru na rzecz transparentności i ograniczenia dyskryminującego wpływu systemów AI. Współpraca ta pomaga ograniczyć ryzyko związane z tendencyjnością wyników.
- Zwiększanie różnorodności w zespołach programujących rozwiązania AI: organizacje powinny utrzymywać różnorodność w zespołach odpowiedzialnych za opracowywanie rozwiązań AI. Różnorodne perspektywy mają kluczowe znaczenie dla identyfikowania i rozwiązywania problemów, które w przypadku zespołów jednolitych mogłyby pozostać niezauważone.
- Wspieranie inicjatyw szkoleniowych: firmy mogą inwestować w programy szkoleniowe, które zachęcają do integracji i zwiększają świadomość tendencyjności systemów AI. Inicjatywy te mogą obejmować organizację warsztatów lub współpracę z organizacjami zewnętrznymi w celu promowania najlepszych praktyk.
- Wdrożenie zaawansowanych struktur nadzoru: przedsiębiorstwa powinny wdrożyć struktury nadzoru określające zakres odpowiedzialności i ramy kontroli nad systemami sztucznej inteligencji. Krok ten obejmuje ustanowienie jasnych wytycznych dotyczących etycznego stosowania sztucznej inteligencji i regularne monitorowanie sytuacji pod kątem zgodności z ustanowionymi standardami.
Wdrożenie opisanych powyżej strategii pozwala organizacjom ograniczać tendencyjność systemów sztucznej inteligencji przy jednoczesnym promowaniu inkluzywnej kultury w miejscu pracy.
Nowe trendy w opracowywaniu bezstronnych systemów AI
Istnieje kilka nowych trendów, których założeniem jest opracowywanie bardziej bezstronnych i wspierających równość rozwiązań AI.
Wyjaśnialna sztuczna inteligencja (XAI): rośnie zapotrzebowanie na przejrzystość procesów decyzyjnych opartych na sztucznej inteligencji. Celem wyjaśnialnej sztucznej inteligencji jest ułatwienie użytkownikom zrozumienia sposobu funkcjonowania systemów AI i procesu podejmowania decyzji oraz zwiększenie transparentności podejmowanych działań.
Projekt zorientowany na użytkownika: rozwój sztucznej inteligencji w coraz większym stopniu koncentruje się na potrzebach i perspektywach użytkowników, dzięki czemu systemy opracowywane są z naciskiem na inkluzywność. Trend ów skłania do pozyskiwania informacji zwrotnych od różnych grup użytkowników i uwzględniania ich podczas opracowywania rozwiązań.
Kontakt ze społecznościami: firmy zaczynają komunikować się ze społecznościami, które doświadczają efektów wdrażania systemów sztucznej inteligencji, w celu gromadzenia danych i informacji zwrotnych. Pozwala to uwzględnić w procesie opracowywania rozwiązań potrzeby i obawy różnych stron.
Korzystanie z danych syntetycznych: w celu rozwiązania problemu niedoboru danych i ich tendencyjności organizacje zaczynają wzbogacać bazy treningowe o dane syntetyczne. Pozwala na tworzenie różnorodnych zbiorów danych bez ryzyka naruszenia prywatności.
Bezstronność z założenia: to zapobiegawcze podejście wiąże się z uwzględnianiem kwestii bezstronności od początku prac nad rozwiązaniami AI, a nie po fakcie. Obejmuje nacisk na bezstronność algorytmów i ocenę wpływu wdrożenia jeszcze na etapie opracowywania rozwiązania.
Połączenie tych podejść może znacznie ograniczyć tendencyjność sztucznej inteligencji i pomóc w tworzeniu takich rozwiązań, które będą służyć większemu dobru i przynosić równe korzyści wszystkim segmentom społeczeństwa.
Produkt firmy SAP
Odpowiedzialne korzystanie z AI w produktach SAP
Przekonaj się, jak rozwiązania firmy SAP umożliwiają korzystanie z AI z zachowaniem najwyższych standardów etycznych, bezpieczeństwa i prywatności.