Zajímáte se o algoritmickou zaujatost v AI? Připojte se k INVIAI a dozvíte se více o AI a algoritmické zaujatosti v tomto článku!

Umělá inteligence (AI) je stále více součástí našeho každodenního života – od rozhodování při náboru zaměstnanců přes zdravotní péči až po policii – ale její využití vyvolává obavy ohledně algoritmické zaujatosti. Algoritmická zaujatost označuje systematické a nespravedlivé předsudky ve výstupech AI systémů, které často odrážejí společenské stereotypy a nerovnosti.

V podstatě může AI algoritmus neúmyslně reprodukovat lidské předsudky obsažené v tréninkových datech nebo v designu, což vede k diskriminačním výsledkům.

Tento problém se stal jednou z nejdiskutovanějších výzev v oblasti etiky technologií a přitahuje celosvětovou pozornost výzkumníků, tvůrců politik i lídrů průmyslu. Rychlé rozšíření AI činí nezbytným řešit zaujatost již nyní: bez etických mantinelů AI hrozí reprodukováním reálných předsudků a diskriminace, což prohlubuje společenské rozdělení a dokonce ohrožuje základní lidská práva.

Níže se podíváme na příčiny algoritmické zaujatosti, příklady jejího dopadu v praxi a na to, jak se svět snaží AI učinit spravedlivější.

Pochopení algoritmické zaujatosti a jejích příčin

Algoritmická zaujatost obvykle vzniká nikoli proto, že by AI „chtěla“ diskriminovat, ale kvůli lidským faktorům. AI systémy se učí z dat a řídí se pravidly vytvořenými lidmi – a lidé mají (často nevědomé) předsudky.
Pokud jsou tréninková data zkreslená nebo odrážejí historické předsudky, AI pravděpodobně tyto vzorce převezme.

Například AI pro třídění životopisů, která byla trénována na desetiletí náboru v technologickém průmyslu (kde většina přijatých uchazečů byli muži), může dojít k závěru, že muži jsou preferovaní kandidáti, čímž znevýhodní ženy. Mezi další běžné příčiny patří neúplné nebo nereprezentativní datové sady, zaujaté označování dat nebo algoritmy optimalizované na celkovou přesnost, nikoli na spravedlnost vůči menšinovým skupinám.

Stručně řečeno, algoritmy AI zdědí předsudky svých tvůrců a dat, pokud nejsou podniknuty cílené kroky k jejich rozpoznání a nápravě.

Je důležité poznamenat, že algoritmická zaujatost je většinou neúmyslná. Organizace často zavádějí AI, aby rozhodování bylo objektivnější, ale pokud systému „dodávají“ zaujaté informace nebo nezohlední spravedlnost při návrhu, může být výsledek stále nespravedlivý. Zaujatost AI může nespravedlivě rozdělovat příležitosti a produkovat nepřesné výsledky, což negativně ovlivňuje blaho lidí a podkopává důvěru v AI.

Pochopení příčin zaujatosti je prvním krokem k řešení – a tento krok nyní akademie, průmysl i vlády po celém světě berou vážně.

Příklady algoritmické zaujatosti v praxi

Zaujatost v AI není jen hypotetický problém; řada skutečných případů ukázala, jak algoritmická zaujatost může vést k diskriminaci. Významné příklady AI zaujatosti v různých sektorech zahrnují:

• Kriminalita a spravedlnost: Ve Spojených státech byl populární algoritmus používaný k predikci recidivy (pravděpodobnosti opětovného spáchání trestného činu) shledán zaujatým vůči černochům. Často nesprávně označoval černé obviněné jako vysoce rizikové a bílé obviněné jako nízkorizikové, čímž prohluboval rasové rozdíly v trestním řízení.
  Tento případ ukazuje, jak AI může zesilovat historické předsudky v policejní práci a soudnictví.

• Nábor a výběr zaměstnanců: Amazon proslul tím, že zrušil AI nástroj pro nábor poté, co zjistil, že diskriminuje ženy. Model strojového učení si sám „naučil“, že preferovaní jsou muži, protože byl trénován na životopisech převážně mužů.
  
  Výsledkem bylo, že životopisy obsahující slovo „ženský“ (např. „kapitán ženského šachového klubu“) nebo z ženských vysokých škol byly systémem degradovány. Tento zaujatý náborový algoritmus by nespravedlivě vyřadil kvalifikované ženy pro technické pozice.

• Zdravotnictví: Algoritmus používaný nemocnicemi v USA k identifikaci pacientů vyžadujících zvýšenou péči podceňoval zdravotní potřeby černých pacientů ve srovnání s bílými pacienty. Systém předpovídal prioritu péče na základě výdajů na zdravotní péči: protože historicky bylo na černé pacienty s podobnou nemocí vynaloženo méně peněz, algoritmus mylně usoudil, že jsou „zdravější“ a přiřadil jim nižší rizikové skóre.
  
  V praxi to znamenalo, že mnoho černých pacientů, kteří potřebovali více péče, bylo přehlédnuto – studie ukázala, že černí pacienti měli ročně o cca 1 800 USD nižší náklady na zdravotní péči než stejně nemocní bílí pacienti, což vedlo k nedostatečné léčbě.

• Rozpoznávání obličejů: Technologie rozpoznávání obličejů vykazuje výraznou zaujatost v přesnosti napříč demografickými skupinami. Komplexní studie z roku 2019 provedená Národním institutem standardů a technologií USA (NIST) zjistila, že většina algoritmů rozpoznávání obličejů má mnohem vyšší chybovost u lidí jiné barvy pleti a žen než u bílých mužů.
  
  V situacích porovnávání jeden na jednoho (ověřování, zda jsou dvě fotografie stejné osoby) byly falešné pozitivní identifikace u asijských a afroamerických obličejů 10 až 100krát pravděpodobnější než u bělošských obličejů u některých algoritmů. Při vyhledávání jeden na mnoho (identifikace osoby z databáze, používané policií) byly nejvyšší míry chybné identifikace u černých žen – nebezpečná zaujatost, která již vedla k falešnému zatčení nevinných lidí.
  
  Tyto rozdíly ukazují, jak zaujatá AI může nepřiměřeně poškodit marginalizované skupiny.

• Generativní AI a online obsah: Ani nejnovější AI systémy nejsou imunní. Studie UNESCO z roku 2024 odhalila, že velké jazykové modely (AI za chatovacími roboty a generátory obsahu) často produkují regresivní genderové a rasové stereotypy.
  
  Například ženy byly popisovány v domácích rolích čtyřikrát častěji než muži u jednoho populárního modelu, přičemž ženská jména byla často spojována se slovy jako „domov“ a „děti“, zatímco mužská jména byla spojována s „vedoucím pracovníkem“, „platem“ a „kariérou“. Studie také zjistila, že tyto AI modely vykazují homofobní zaujatost a kulturní stereotypy ve svých výstupech.
  
  Vzhledem k tomu, že miliony lidí nyní používají generativní AI v každodenním životě, i jemné zaujatosti v obsahu mohou zesilovat nerovnosti ve skutečném světě a upevňovat stereotypy ve velkém měřítku.

Tyto příklady zdůrazňují, že algoritmická zaujatost není vzdálený nebo vzácný problém – probíhá právě teď napříč oblastmi. Od pracovních příležitostí přes spravedlnost, zdravotnictví až po online informace mohou zaujaté AI systémy reprodukovat a dokonce zesilovat existující diskriminaci.

Škody často nesou historicky znevýhodněné skupiny, což vyvolává vážné etické a lidskoprávní otázky. Jak UNESCO varuje, rizika AI „se sčítají s existujícími nerovnostmi a způsobují další újmu již marginalizovaným skupinám“.

Proč je zaujatost AI důležitá?

Řešení zaujatosti AI má vysokou váhu. Pokud se nechá bez kontroly, mohou zaujaté algoritmy upevnit systémovou diskriminaci za zdánlivě neutrální technologií. Rozhodnutí učiněná (nebo řízená) AI – kdo bude přijat, kdo dostane půjčku nebo podmíněné propuštění, jak policie zaměří dohled – mají skutečné dopady na životy lidí.

Pokud jsou tato rozhodnutí nespravedlivě zkreslena vůči určitým pohlavím, rasám nebo komunitám, společenské nerovnosti se prohlubují. To může vést k odepření příležitostí, ekonomickým rozdílům nebo dokonce ohrožení osobní svobody a bezpečnosti postižených skupin.

V širším kontextu algoritmická zaujatost podkopává lidská práva a sociální spravedlnost, což je v rozporu s principy rovnosti a nediskriminace, které demokratické společnosti vyznávají.

Zaujatost v AI také oslabuje veřejnou důvěru v technologie. Lidé méně důvěřují nebo přijímají AI systémy, které jsou vnímány jako nespravedlivé nebo neprůhledné.

Pro firmy a vlády je tento deficit důvěry vážným problémem – úspěšná inovace vyžaduje veřejnou důvěru. Jak poznamenal jeden odborník, spravedlivá a nezaujatá rozhodnutí AI nejsou jen eticky správná, jsou také prospěšná pro byznys i společnost, protože udržitelná inovace závisí na důvěře.

Naopak, vysoce medializované selhání AI kvůli zaujatosti (jako výše uvedené případy) může poškodit reputaci a legitimitu organizace.

Navíc algoritmická zaujatost může omezit potenciální přínosy AI. AI slibuje zlepšení efektivity a rozhodování, ale pokud jsou její výsledky diskriminační nebo nepřesné pro části populace, nemůže dosáhnout svého plného pozitivního dopadu.

Například zdravotnický nástroj AI, který funguje dobře pro jednu demografickou skupinu, ale špatně pro jiné, není skutečně efektivní ani přijatelný. Jak poznamenala OECD, zaujatost v AI nespravedlivě omezuje příležitosti a může stát firmy reputaci i důvěru uživatelů.

Stručně řečeno, řešení zaujatosti není jen morální nutností, ale také klíčové pro využití přínosů AI pro všechny spravedlivým způsobem.

Strategie pro zmírnění zaujatosti AI

Protože algoritmická zaujatost je nyní široce uznávaná, vznikla řada strategií a osvědčených postupů pro její zmírnění. Zajištění, že AI systémy jsou spravedlivé a inkluzivní, vyžaduje kroky v několika fázích vývoje a nasazení:

• Lepší práce s daty: Protože zaujatá data jsou základní příčinou, klíčové je zlepšit kvalitu dat. To znamená používat různorodé, reprezentativní tréninkové datové sady, které zahrnují menšinové skupiny, a důkladně kontrolovat zkreslení nebo mezery.
  
  Zahrnuje to také audit dat na historické předsudky (např. rozdílné výsledky podle rasy/pohlaví) a jejich opravu nebo vyvážení před tréninkem modelu. V případech, kdy jsou některé skupiny nedostatečně zastoupeny, mohou pomoci techniky jako rozšíření dat nebo syntetická data.
  
  Výzkum NIST naznačil, že různorodější tréninková data mohou vést k spravedlivějším výsledkům například v rozpoznávání obličejů. Průběžné sledování výstupů AI může také včas odhalit problémy se zaujatostí – co se měří, to se dá řídit. Pokud organizace shromažďuje tvrdá data o tom, jak se rozhodnutí algoritmu liší podle demografie, může identifikovat nespravedlivé vzorce a řešit je.

• Spravedlivý návrh algoritmů: Vývojáři by měli vědomě začleňovat omezení spravedlnosti a techniky zmírnění zaujatosti do tréninku modelu. To může zahrnovat použití algoritmů, které lze ladit pro spravedlnost (nikoli jen přesnost), nebo aplikaci technik pro vyrovnání chybovosti mezi skupinami.
  
  Dnes existují nástroje a rámce (mnohé open-source) pro testování modelů na zaujatost a jejich úpravu – například převažování dat, změna rozhodovacích prahů nebo promyšlené odstranění citlivých atributů.
  
  Důležité je, že existuje několik matematických definic spravedlnosti (např. rovnost předpovědí, rovnost falešných pozitiv, atd.), které se někdy vzájemně vylučují. Volba správného přístupu ke spravedlnosti vyžaduje etické posouzení a kontext, nejen úpravu dat.
  
  Proto se týmy AI doporučuje spolupracovat s odborníky z dané oblasti a dotčenými komunitami při definování kritérií spravedlnosti pro konkrétní aplikaci.

• Lidský dohled a odpovědnost: Žádný AI systém by neměl fungovat bez lidské odpovědnosti. Lidský dohled je klíčový k zachycení a nápravě zaujatostí, které by se stroj mohl naučit.
  
  To znamená mít lidi zapojené do důležitých rozhodnutí – např. náborář, který přezkoumává kandidáty vybrané AI, nebo soudce, který s opatrností posuzuje rizikové skóre AI.
  
  Znamená to také jasné přiřazení odpovědnosti: organizace musí pamatovat, že jsou odpovědné za rozhodnutí svých algoritmů stejně jako za rozhodnutí svých zaměstnanců. Pravidelné audity rozhodnutí AI, hodnocení dopadů zaujatosti a schopnost vysvětlit rozhodování AI (vysvětlitelnost) pomáhají udržovat odpovědnost.
  
  Dalším pilířem je transparentnost: otevřenost ohledně fungování AI systému a jeho známých omezení může budovat důvěru a umožnit nezávislou kontrolu.
  
  Ve skutečnosti některé jurisdikce směřují k povinné transparentnosti u rozhodnutí s vysokým dopadem (například požadavek, aby veřejné instituce zveřejňovaly, jak algoritmy používají při rozhodnutích ovlivňujících občany). Cílem je zajistit, aby AI doplňovala lidské rozhodování bez nahrazování etického úsudku nebo právní odpovědnosti.

• Různorodé týmy a inkluzivní vývoj: Rostoucí počet odborníků zdůrazňuje hodnotu různorodosti mezi vývojáři AI a zainteresovanými stranami. AI produkty odrážejí perspektivy a slepé skvrny těch, kdo je vytvářejí.
  
  Pokud tedy AI systém navrhuje homogenní skupina lidí (například jedno pohlaví, jedna etnická skupina nebo jedna kulturní skupina), může přehlédnout, jak by mohl nespravedlivě ovlivnit ostatní.
  
  Zahrnutí různých hlasů – včetně žen, rasových menšin a odborníků ze sociálních věd či etiky – do návrhu a testování vede k citlivější AI.
  
  UNESCO upozorňuje, že podle nedávných dat jsou ženy v AI rolích výrazně podreprezentovány (pouze cca 20 % technických pracovníků AI a 12 % výzkumnic AI jsou ženy). Zvýšení zastoupení není jen otázkou rovnosti na pracovišti, ale zlepšuje výsledky AI: pokud AI systémy nevytvářejí různorodé týmy, pravděpodobně nesplní potřeby různorodých uživatelů ani neochrání práva všech.
  
  Iniciativy jako platforma UNESCO Women4Ethical AI usilují o podporu různorodosti a sdílení osvědčených postupů pro nediskriminační návrh AI.

• Regulace a etické směrnice: Vlády a mezinárodní organizace nyní aktivně zasahují, aby zajistily řešení zaujatosti AI. V roce 2021 členské státy UNESCO jednomyslně přijaly Doporučení o etice umělé inteligence – první globální rámec pro etiku AI.
  
  Zakotvuje principy transparentnosti, spravedlnosti a nediskriminace a zdůrazňuje význam lidského dohledu nad AI systémy. Tyto principy slouží jako vodítko pro státy při tvorbě politik a zákonů týkajících se AI.
  
  Podobně nová směrnice EU o AI (plně účinná od roku 2024) výslovně klade důraz na prevenci zaujatosti. Jedním z hlavních cílů AI směrnice je zmírnit diskriminaci a zaujatost v systémech AI s vysokým rizikem.
  
  Směrnice bude vyžadovat, aby systémy používané v citlivých oblastech (např. nábor, úvěry, vymáhání práva) podstoupily přísné hodnocení spravedlnosti a nepoškozovaly nepřiměřeně chráněné skupiny.
  
  Porušení může vést k vysokým pokutám, což vytváří silnou motivaci pro firmy zavádět kontroly zaujatosti.
  
  Kromě širokých regulací některé místní samosprávy přijaly cílená opatření – například více než tucet velkých měst (včetně San Francisca, Bostonu a Minneapolis) zakázalo policii používat technologii rozpoznávání obličejů kvůli prokázané rasové zaujatosti a rizikům pro občanská práva.
  
  Na straně průmyslu vydávají standardizační organizace a technologické firmy směrnice a vyvíjejí nástroje (např. balíčky pro spravedlnost a rámce auditů), které pomáhají praktikům začleňovat etiku do vývoje AI.
  
  Hnutí za „důvěryhodnou AI“ zahrnuje kombinaci těchto snah, zajišťujících, že AI systémy jsou legální, etické a robustní v praxi.

>>> Chcete vědět:

Dopad umělé inteligence na pracovní místa

AI a algoritmická zaujatost jsou globální výzvou, kterou teprve začínáme efektivně řešit. Výše uvedené příklady a snahy jasně ukazují, že zaujatost AI není okrajový problém – ovlivňuje ekonomické příležitosti, spravedlnost, zdraví a sociální soudržnost po celém světě.

Dobrou zprávou je, že povědomí výrazně vzrostlo a vzniká konsenzus, že AI musí být zaměřena na člověka a spravedlivá.

Dosažení tohoto cíle bude vyžadovat trvalou ostražitost: neustálé testování AI systémů na zaujatost, zlepšování dat a algoritmů, zapojení různorodých zainteresovaných stran a aktualizaci regulací s vývojem technologií.

V jádru je boj proti algoritmické zaujatosti o sladění AI s našimi hodnotami rovnosti a spravedlnosti. Jak uvedla generální ředitelka UNESCO Audrey Azoulay, i „malé zaujatosti v obsahu [AI] mohou významně zesilovat nerovnosti ve skutečném světě“.

Proto je snaha o nezaujatou AI klíčová, aby technologie posilovala všechny části společnosti místo upevňování starých předsudků.

Upřednostněním etických principů v návrhu AI – a jejich podpořením konkrétními kroky a politikami – můžeme využít inovační sílu AI a zároveň chránit lidskou důstojnost.

Budoucnost AI je tam, kde inteligentní stroje čerpají z nejlepších lidských hodnot, nikoli z našich nejhorších předsudků, což umožní technologii skutečně prospívat všem.