Rizika používání umělé inteligence

Umělá inteligence (AI) je dnes součástí všeho od asistentů v chytrých telefonech a sociálních sítí až po zdravotnictví a dopravu. Tyto technologie přinášejí bezprecedentní výhody, ale také s sebou nesou významná rizika a výzvy.

V tomto článku si s INVIAI probereme rizika používání AI napříč všemi oblastmi a typy AI – od chatbotů a algoritmů po roboty – na základě poznatků z oficiálních a mezinárodních zdrojů.

Předsudky a diskriminace v AI systémech

Jedním z hlavních rizik AI je upevňování předsudků a nespravedlivé diskriminace. AI modely se učí z dat, která mohou odrážet historické předsudky nebo nerovnosti; výsledkem může být, že AI systém zachází s lidmi odlišně na základě rasy, pohlaví nebo jiných charakteristik způsobem, který udržuje nespravedlnost.

Nefunkční obecná AI může způsobit škody prostřednictvím zaujatých rozhodnutí týkajících se chráněných charakteristik jako rasa, pohlaví, kultura, věk a zdravotní postižení.

— Mezinárodní zpráva o bezpečnosti AI

Globální organizace jako UNESCO varují, že bez opatření pro spravedlnost hrozí, že AI "bude reprodukovat předsudky a diskriminaci z reálného světa, podněcovat rozdělení a ohrožovat základní lidská práva a svobody". Zajištění, že AI systémy jsou trénovány na různorodých, reprezentativních datech a jsou auditovány na předsudky, je nezbytné k prevenci automatizované diskriminace.

Předsudky a diskriminace v AI systémech

Nebezpečí dezinformací a deepfake

Schopnost AI generovat hyperrealistický text, obrázky a videa vyvolala obavy z přívalu dezinformací. Generativní AI může vytvářet přesvědčivé falešné zprávy, nepravé obrázky nebo deepfake videa, která je obtížné odlišit od reality.

Ve skutečnosti dezinformace a dezinformace poháněné AI představují jednu z „největších výzev pro demokratický proces“ – zejména s miliardami lidí, kteří se chystají volit v nadcházejících volbách. Syntetická média jako deepfake videa a AI-klonované hlasy mohou být zneužity k šíření propagandy, napodobování veřejných osobností nebo páchání podvodů.

Úředníci varují, že zlovolní aktéři mohou využívat AI pro rozsáhlé kampaně dezinformací, což usnadňuje zaplavit sociální sítě falešným obsahem a šířit chaos. Rizikem je cynické informační prostředí, kde občané nemohou věřit tomu, co vidí nebo slyší, což podkopává veřejný diskurz a demokracii.

Nebezpečí dezinformací a deepfake v AI

Hrozby soukromí a masového sledování

Široké využití AI vyvolává vážné obavy o soukromí. AI systémy často vyžadují obrovské množství osobních dat – od našich tváří a hlasů po nákupní zvyklosti a polohu – aby mohly efektivně fungovat. Bez silných ochranných opatření mohou být tato data zneužita nebo zneužívána.

Například rozpoznávání obličeje a prediktivní algoritmy by mohly umožnit všudypřítomné sledování, které sleduje každý pohyb jednotlivců nebo hodnotí jejich chování bez souhlasu.

Soukromí je právo nezbytné pro ochranu lidské důstojnosti, autonomie a svobody, které musí být respektováno během celého životního cyklu AI systému.

— Úřady pro ochranu dat

Pokud vývoj AI předběhne regulace soukromí, jednotlivci by mohli ztratit kontrolu nad vlastními informacemi. Společnost musí zajistit robustní správu dat, mechanismy souhlasu a techniky ochrany soukromí, aby se AI technologie nestaly nástroji nekontrolovaného sledování.

Hrozby soukromí a masového sledování

Selhání bezpečnosti a neúmyslné škody

Zatímco AI může automatizovat rozhodování a fyzické úkoly s nadlidskou efektivitou, může také selhat nepředvídatelnými způsoby, což vede k reálným škodám. Svěřujeme AI stále více odpovědnosti za bezpečnost – například řízení aut, diagnostiku pacientů nebo řízení elektrických sítí – ale tyto systémy nejsou neomylné.

Poruchy, chybné tréninkové údaje nebo nepředvídané situace mohou způsobit, že AI udělá nebezpečné chyby. AI v samořiditelném autě může nesprávně identifikovat chodce, nebo lékařská AI může doporučit nesprávnou léčbu s potenciálně smrtelnými následky.

Nechtěné škody (bezpečnostní rizika) i zranitelnosti vůči útokům (bezpečnostní hrozby) by měly být během životního cyklu AI systémů předcházeny a řešeny, aby byla zajištěna bezpečnost lidí, životního prostředí a ekosystémů.

— Mezinárodní směrnice pro AI

Jinými slovy, AI systémy musí být důkladně testovány, monitorovány a vybaveny bezpečnostními prvky, aby se minimalizovala pravděpodobnost poruch. Nadměrná důvěra v AI může být také riziková – pokud lidé slepě důvěřují automatizovaným rozhodnutím, nemusí zasáhnout včas, když něco selže.

Zajištění lidského dohledu je proto klíčové. V aplikacích s vysokým rizikem (například ve zdravotnictví nebo dopravě) by konečná rozhodnutí měla zůstat v rukou lidí. Udržení bezpečnosti a spolehlivosti AI je kontinuální výzvou, která vyžaduje pečlivý design a kulturu odpovědnosti od vývojářů AI.

Selhání bezpečnosti a neúmyslné škody v AI

Nahrazení pracovních míst a ekonomické otřesy

Transformační dopad AI na ekonomiku je dvousečný meč. Na jedné straně může AI zvýšit produktivitu a vytvořit zcela nové odvětví; na druhé straně představuje riziko nahrazení milionů pracovníků automatizací.

Mnoho pracovních míst – zejména těch zahrnujících rutinní, opakující se úkoly nebo snadno analyzovatelná data – je ohroženo převzetím AI algoritmy a roboty.

I když ekonomika může také vytvořit nové role (potenciálně i více pracovních míst, než kolik jich bude ztraceno dlouhodobě), přechod bude pro mnohé bolestivý. Nová pracovní místa často vyžadují jiné, pokročilejší dovednosti nebo jsou soustředěna v určitých technologických centrech, což znamená, že mnoho nahrazených pracovníků může mít potíže najít nové uplatnění.

Tento nesoulad mezi dovednostmi pracovníků a požadavky nových rolí řízených AI by mohl vést k vyšší nezaměstnanosti a nerovnosti, pokud nebude řešen. Odborníci a výzkumníci varují, že rychlý pokrok AI může přinést „otřesy na trhu práce a nerovnosti v ekonomické moci“ na systémové úrovni.

Bez proaktivních opatření (jako jsou programy rekvalifikace, vzdělávání v AI dovednostech a sociální bezpečnostní sítě) by AI mohla prohloubit socioekonomické rozdíly, vytvářejíc ekonomiku řízenou AI, kde ti, kdo vlastní technologii, sklízejí většinu výhod.

Příprava pracovní síly na dopady AI je klíčová, aby byly výhody automatizace široce sdíleny a předešlo se sociálním otřesům způsobeným masovou ztrátou pracovních míst.

Nahrazení pracovních míst a ekonomické otřesy v AI

Kriminální zneužití, podvody a bezpečnostní hrozby

AI je mocný nástroj, který může být stejně snadno zneužit k nekalým účelům jako k ušlechtilým. Kyberzločinci a další škodliví aktéři již využívají AI ke zlepšení svých útoků.

Například AI může generovat vysoce personalizované phishingové e-maily nebo hlasové zprávy (klonováním hlasu někoho) k oklamání lidí, aby odhalili citlivé informace nebo poslali peníze. Může být také použita k automatizaci hackování tím, že rychle najde zranitelnosti softwaru, nebo k vývoji malwaru, který se přizpůsobuje, aby se vyhnul detekci.

Zlovolní aktéři mohou využívat AI pro rozsáhlé operace dezinformací, podvodů a podvodných praktik.

— Zpráva britské vlády

Center for AI Safety identifikuje zlovolné využití AI jako klíčovou obavu, uvádějící scénáře, kdy AI systémy používají zločinci k provádění rozsáhlých podvodů a kyberútoků.

Rychlost, rozsah a sofistikovanost, které AI umožňuje, by mohly přetížit tradiční obrany – představte si tisíce AI generovaných podvodných hovorů nebo deepfake videí cílených na bezpečnost společnosti během jediného dne.

S rostoucí dostupností AI nástrojů klesá bariéra pro provádění těchto škodlivých aktivit, což může vést k nárůstu zločinnosti podporované AI.

To vyžaduje nové přístupy k kybernetické bezpečnosti a prosazování práva, například AI systémy schopné detekovat deepfakes nebo anomální chování a aktualizované právní rámce pro odpovědnost pachatelů. Jinými slovy, musíme předpokládat, že jakoukoliv schopnost, kterou AI poskytuje prospěšným uživatelům, může stejně tak poskytnout zločincům – a připravit se na to.

Kriminální zneužití, podvody a bezpečnostní hrozby v AI

Militarizace a autonomní zbraně

Možná nejděsivější riziko AI se objevuje v kontextu války a národní bezpečnosti. AI je rychle integrována do vojenských systémů, což zvyšuje pravděpodobnost autonomních zbraní („vražedných robotů“) a rozhodování řízeného AI v boji.

Tyto technologie mohou reagovat rychleji než jakýkoliv člověk, ale odebrání lidské kontroly nad použitím smrtící síly je plné nebezpečí. Hrozí, že AI řízená zbraň může vybrat špatný cíl nebo eskalovat konflikty nepředvídatelnými způsoby.

Pokud státy budou soupeřit v vybavování svých arsenálů inteligentními zbraněmi, může to vyvolat destabilizující závody ve zbrojení. Navíc AI může být použita v kybernetické válce k autonomním útokům na kritickou infrastrukturu nebo k šíření propagandy, čímž se stírá hranice mezi mírem a konfliktem.

Vývoj AI ve válce, pokud bude soustředěn v rukou několika, může být vnucen lidem bez jejich možnosti rozhodovat o jejím použití, což podkopává globální bezpečnost a etiku.

— Organizace spojených národů

Autonomní zbraňové systémy také představují právní a morální dilemata – kdo je odpovědný, pokud AI dron omylem zabije civilisty? Jak tyto systémy dodržují mezinárodní humanitární právo?

Tyto nezodpovězené otázky vedly k výzvám k zákazu nebo přísné regulaci některých AI-umožněných zbraní. Zajištění lidského dohledu nad jakoukoliv AI, která může rozhodovat o životě a smrti, je široce považováno za zásadní. Bez něj hrozí nejen tragické chyby na bojišti, ale i eroze lidské odpovědnosti ve válce.

Militarizace a autonomní zbraně v AI

Nedostatek transparentnosti a odpovědnosti

Většina pokročilých AI systémů dnes funguje jako „černé skříňky“ – jejich vnitřní logika je často nejasná i pro jejich tvůrce. Tento nedostatek transparentnosti vytváří riziko, že rozhodnutí AI nelze vysvětlit nebo napadnout, což je vážný problém v oblastech jako spravedlnost, finance nebo zdravotnictví, kde může být vysvětlitelnost právní nebo etickou povinností.

Pokud AI odmítne někomu půjčku, diagnostikuje nemoc nebo rozhodne, kdo dostane podmíněné propuštění z vězení, přirozeně chceme vědět proč. U některých AI modelů (zejména složitých neuronových sítí) je poskytnutí jasného odůvodnění obtížné.

Nedostatek transparentnosti může také podkopat možnost efektivně napadnout rozhodnutí založená na výsledcích AI systémů a tím porušit právo na spravedlivý proces a účinný opravný prostředek.

— UNESCO

Jinými slovy, pokud ani uživatelé, ani regulátoři nemohou pochopit, jak AI činí rozhodnutí, stává se téměř nemožné někoho za chyby nebo předsudky odpovědné postihnout.

Proti tomu odborníci prosazují techniky vysvětlitelné AI, důkladné audity a regulační požadavky, aby rozhodnutí AI byla sledovatelná k lidské autoritě.

Globální etické směrnice trvají na tom, že by „vždy mělo být možné připsat etickou a právní odpovědnost“ za chování AI systému osobě nebo organizaci. Lidé musí zůstat konečně odpovědní a AI by měla pomáhat, nikoli nahrazovat lidský úsudek v citlivých záležitostech. Jinak riskujeme vytvoření světa, kde důležitá rozhodnutí činí nepochopitelné stroje, což je recept na nespravedlnost.

Nedostatek transparentnosti a odpovědnosti při používání AI na pracovišti

Koncentrace moci a nerovnost

Revoluce AI se neodehrává rovnoměrně po celém světě – malý počet korporací a zemí dominuje vývoji pokročilé AI, což přináší vlastní rizika.

Nejmodernější AI modely vyžadují obrovské množství dat, talentu a výpočetních zdrojů, které momentálně vlastní jen technologičtí giganti (a dobře financované vlády).

To vedlo k vysoce koncentrovanému, jednotnému, globálně integrovanému dodavatelskému řetězci, který upřednostňuje několik společností a zemí.

— Světové ekonomické fórum

Taková koncentrace moci v AI by mohla vést k monopolní kontrole nad AI technologiemi, omezující konkurenci a volbu spotřebitelů. Také zvyšuje nebezpečí, že priority těchto několika firem nebo států budou formovat AI způsoby, které nezohledňují širší veřejný zájem.

Tato nerovnováha by mohla prohloubit globální nerovnosti: bohaté země a firmy získávají náskok díky využití AI, zatímco chudší komunity nemají přístup k nejnovějším nástrojům a trpí ztrátou pracovních míst bez užívání si výhod AI.

Kromě toho by koncentrovaný AI průmysl mohl brzdit inovace (pokud nováčci nemohou konkurovat zdrojům zavedených hráčů) a představovat bezpečnostní rizika (pokud kritická AI infrastruktura je kontrolována jen několika subjekty, stává se jediným bodem selhání nebo manipulace).

Řešení tohoto rizika vyžaduje mezinárodní spolupráci a možná nové regulace k demokratizaci vývoje AI – například podporu otevřeného výzkumu, zajištění spravedlivého přístupu k datům a výpočetní kapacitě a tvorbu politik (jako je navrhovaný zákon EU o AI) k zabránění zneužívání ze strany „strážců AI“. Inkluzivnější AI prostředí by pomohlo zajistit, že výhody AI budou sdíleny globálně, místo aby se prohlubovala propast mezi technologickými bohatými a chudými.

Koncentrace moci a nerovnost

Dopad AI na životní prostředí

Často opomíjeným tématem v diskuzích o rizicích AI je její environmentální stopa. Vývoj AI, zejména trénink velkých modelů strojového učení, spotřebovává obrovské množství elektřiny a výpočetního výkonu.

Datová centra plná tisíců energeticky náročných serverů jsou nezbytná k zpracování obrovského množství dat, ze kterých se AI učí. To znamená, že AI může nepřímo přispívat k emise uhlíku a změně klimatu.

S růstem investic do AI se očekává prudký nárůst emisí z provozu AI modelů – zpráva předpovídá, že nejvýkonnější AI systémy by mohly společně emitovat přes 100 milionů tun CO₂ ročně, což výrazně zatíží energetickou infrastrukturu.

Pro srovnání, datová centra napájející AI zvyšují spotřebu elektřiny „čtyřikrát rychleji než celkový nárůst spotřeby elektřiny“.

Kromě emisí uhlíku AI také spotřebovává vodu na chlazení a produkuje elektronický odpad v důsledku rychlých hardwarových upgradů. Pokud nebude tento dopad kontrolován, může AI ohrozit globální úsilí o udržitelnost.

Toto riziko vyžaduje, aby AI byla energeticky efektivnější a využívala čistší zdroje energie. Výzkumníci vyvíjejí zelené AI techniky ke snížení spotřeby energie a některé firmy se zavázaly kompenzovat uhlíkovou stopu AI. Přesto zůstává naléhavým problémem, že rychlý rozvoj AI může nést vysokou ekologickou cenu. Vyvážení technologického pokroku s ekologickou odpovědností je další výzvou, kterou musí společnost řešit při integraci AI všude.

Dopad AI na životní prostředí

Existenciální a dlouhodobá rizika

Kromě bezprostředních rizik někteří odborníci varují před více spekulativními, dlouhodobými riziky AI – včetně možnosti, že vyspělá AI překročí lidskou kontrolu. Zatímco dnešní AI systémy jsou úzce specializované, výzkumníci aktivně pracují na obecné AI, která by mohla potenciálně překonat lidi v mnoha oblastech.

To vyvolává složité otázky: pokud se AI stane výrazně inteligentnější nebo autonomnější, mohla by jednat způsoby ohrožující existenci lidstva? I když to zní jako sci-fi, významné osobnosti v technologické komunitě vyjadřují obavy z scénářů „zrádné AI“ a vlády berou tuto diskusi vážně.

Odborníci mají různé názory na riziko ztráty kontroly lidstva nad AI, které by mohlo vést k katastrofálním následkům.

— Mezinárodní zpráva o bezpečnosti AI

Vědecký konsenzus není jednotný – někteří věří, že superinteligentní AI je vzdálená desítky let nebo ji lze udržet v souladu s lidskými hodnotami, zatímco jiní vidí malou, ale nenulovou šanci katastrofických výsledků.

V podstatě existuje uznání, že existenciální riziko z AI, byť vzdálené, nelze zcela vyloučit. Takový výsledek by mohl zahrnovat AI sledující své cíle na úkor lidské pohody (klasickým příkladem je AI, která, pokud je špatně naprogramovaná, rozhodne se něco škodlivého provést ve velkém měřítku, protože jí chybí zdravý rozum nebo morální omezení).

Zatím žádná dnešní AI nemá takovou úroveň autonomie, ale tempo pokroku AI je rychlé a nepředvídatelné, což samo o sobě představuje rizikový faktor.

Příprava na dlouhodobá rizika znamená investice do výzkumu sladění AI (zajištění kompatibility cílů AI s lidskými hodnotami), uzavírání mezinárodních dohod o výzkumu AI s vysokým rizikem (podobně jako smlouvy o jaderných nebo biologických zbraních) a udržování lidského dohledu s rostoucí schopností AI systémů.

Budoucnost AI nabízí obrovský potenciál, ale také nejistotu – a opatrnost vyžaduje, abychom v dlouhodobém plánování zvažovali i nízkopravděpodobnostní, ale vysoce dopadová rizika.

Existenciální a dlouhodobá rizika v AI

Odpovědné řízení budoucnosti AI

AI je často přirovnávána k mocnému motoru, který může posunout lidstvo vpřed – ale bez brzd a řízení může tento motor vybočit z kurzu. Jak jsme viděli, rizika používání AI jsou mnohostranná: od bezprostředních problémů jako zaujaté algoritmy, falešné zprávy, narušení soukromí a otřesy na pracovním trhu, až po širší společenské výzvy jako bezpečnostní hrozby, rozhodování „černých skříněk“, monopoly velkých technologických firem, ekologické zatížení a dokonce vzdálený stín ztráty kontroly nad superinteligentní AI.

Vlády, mezinárodní organizace, lídři průmyslu a výzkumníci stále více spolupracují na řešení těchto obav – například prostřednictvím rámců jako:

• Americký NIST Rámec řízení rizik AI (pro zvýšení důvěryhodnosti AI)
• Globální doporučení UNESCO pro etiku AI
• Evropský zákon o AI

Tyto snahy mají za cíl maximalizovat přínosy AI a minimalizovat její negativa, aby AI sloužila lidstvu a ne naopak.