Umělá inteligence umožnila vytvářet tzv. „deepfaky“ – vysoce realistická, ale falešná média. Od videí, která bezchybně mění tvář osoby, až po klonované hlasy, které jsou k nerozeznání od skutečných, deepfaky představují novou éru, kdy vidět (nebo slyšet) neznamená vždy věřit. Tato technologie nabízí vzrušující příležitosti k inovacím napříč odvětvími, ale zároveň přináší vážná rizika.

V tomto článku si vysvětlíme, co jsou AI deepfaky, jak fungují a jaké klíčové příležitosti a nebezpečí s sebou přinášejí v dnešním světě.

Co je to Deepfake?

Deepfake je syntetický mediální obsah (video, audio, obrázky nebo dokonce text), který je generován nebo upraven umělou inteligencí tak, aby věrohodně napodoboval skutečný obsah. Termín pochází ze spojení „deep learning“ (pokročilé algoritmy AI) a „fake“ a do běžného užívání vstoupil kolem roku 2017 na Reddit fóru, kde uživatelé sdíleli videa s vyměněnými tvářemi celebrit.

Moderní deepfaky často využívají techniky jako generativní adversariální sítě (GAN) – dvě neuronové sítě, které se navzájem trénují, aby vytvářely stále realističtější padělky. Za poslední desetiletí pokroky v AI usnadnily a zlevnily tvorbu deepfaků: každý s připojením k internetu má nyní klíče k syntetickým mediálním generátorům.

První deepfaky získaly špatnou pověst kvůli škodlivému využití (například vkládání tváří celebrit do falešných videí). Nicméně ne veškerý syntetický obsah generovaný AI je škodlivý. Stejně jako mnoho technologií jsou deepfaky nástrojem – jejich dopad (dobrý či špatný) závisí na tom, jak jsou použity.

Jak uvádí Světové ekonomické fórum, i když existuje mnoho negativních příkladů, „takový syntetický obsah může také přinášet užitek“. V následujících částech se zaměříme na některé významné pozitivní aplikace deepfake AI, následované vážnými riziky a zneužitím této technologie.

Příležitosti a pozitivní využití Deepfake AI

Navzdory kontroverzní pověsti nabízejí deepfaky (často neutrálně označované jako „syntetická média“) několik pozitivních využití v kreativních, vzdělávacích a humanitárních oblastech:

• Zábava a média: Filmaři používají deepfake techniky k vytváření ohromujících vizuálních efektů a dokonce k „odmlazení“ herců na obrazovce. Například nejnovější film Indiana Jones digitálně zrekonstruoval mladšího Harrisona Forda pomocí AI trénované na desetiletích jeho záběrů. Tato technologie může oživit historické osobnosti nebo zesnulé herce pro nové role a zlepšit dabing přesným sladěním pohybů rtů.
  Celkově deepfaky umožňují vytvářet poutavější a realističtější obsah ve filmech, televizi a hrách.

• Vzdělávání a školení: Deepfake technologie může učinit vzdělávací zážitky zajímavějšími a interaktivnějšími. Lektoři mohou vytvářet vzdělávací simulace nebo historické rekonstrukce s realistickými postavami slavných osobností, které oživí hodiny dějepisu nebo přírodních věd.
  Realistické scénáře hraní rolí vytvořené AI (například simulace lékařské pohotovosti nebo situace v kokpitu letadla) pomáhají školit profesionály ve zdravotnictví, letectví, armádě a dalších oborech. Tyto AI generované simulace připravují studenty na reálné situace bezpečným a kontrolovaným způsobem.

• Dostupnost a komunikace: AI generovaná média překonávají jazykové a komunikační bariéry. Deepfake překladatelé mohou dabovat video do více jazyků při zachování hlasu a gest mluvčího – například umělkyně FKA Twigs vytvořila deepfake sama sebe, který mluví jazyky, které neovládá. To má potenciál zachraňovat životy: záchranné služby využily AI hlasový překlad k rychlejšímu překladu tísňových hovorů, čímž zkrátily dobu překladu až o 70 % v kritických situacích.
  Podobně se vyvíjejí deepfake avatary znakového jazyka, které překládají řeč do znakového jazyka pro neslyšící publikum, vytvářející tak realistická videa, která algoritmy v raných studiích nerozeznaly od skutečných znakovacích osob. Další významné využití je osobní klonování hlasu pro ty, kteří ztratili schopnost mluvit – například americká kongresmanka s neurodegenerativním onemocněním nedávno použila AI generovaný klon svého hlasu, aby mohla oslovit zákonodárce poté, co přestala mluvit, což jí umožnilo „mluvit svým vlastním tónem hlasu“ navzdory nemoci.
  Takové aplikace ukazují, jak deepfaky zlepšují dostupnost a zachovávají hlasy a komunikaci lidí.

• Zdravotnictví a terapie: Ve zdravotnictví mohou syntetická média pomáhat jak výzkumu, tak pohodě pacientů. AI generované lékařské snímky mohou rozšířit tréninková data pro diagnostické algoritmy – jedna studie zjistila, že AI systém pro detekci nádorů, trénovaný převážně na GAN generovaných MRI snímcích, fungoval stejně dobře jako systém trénovaný na skutečných skenech. To znamená, že deepfaky mohou posílit lékařskou AI vytvářením dostatečného množství tréninkových dat bez ohrožení soukromí pacientů.
  Terapeuticky mohou kontrolované deepfaky také uklidnit pacienty. Například pečovatelé experimentovali s vytvářením videí, kde se blízký člověk pacienta s Alzheimerovou chorobou objeví jako mladší verze sebe sama (z období, které si pacient nejlépe pamatuje), což snižuje zmatení a úzkost pacienta. Ve veřejných zdravotních kampaních deepfake techniky umožnily silné sdělení: v jedné protimalarické kampani byl video vzkaz fotbalové hvězdy Davida Beckhama AI upraven tak, že „mluvil“ devíti různými jazyky, čímž kampaň oslovila půl miliardy lidí po celém světě. To ukazuje, jak syntetická média mohou zesílit důležitá sdělení pro různorodé publikum.

• Soukromí a anonymita: Paradoxně stejná schopnost měnit tváře, která může vytvářet falešné zprávy, může také chránit soukromí. Aktivisté, whistlebloweři nebo zranitelné osoby mohou být natočeni s realisticky AI generovanou tváří, která zakryje jejich identitu bez použití zřejmého rozmazání.
  Významným příkladem je dokument „Welcome to Chechnya“ (2020), který použil AI generované překrytí tváří k ochraně identity LGBT aktivistů prchajících před pronásledováním, přičemž zachoval jejich mimiku a emoce. Díky tomu mohli diváci vnímat lidskost těchto osob, i když zobrazené tváře nebyly skutečné.
  Výzkumníci rozšiřují tuto myšlenku do nástrojů pro každodenní ochranu soukromí – například experimentální „anonymizační systémy“ mohou automaticky nahradit tvář osoby na fotografiích sdílených na sociálních sítích syntetickým podobným vzhledem, pokud osoba nesouhlasila s identifikací. Podobně technologie „hlasové masky“ může v reálném čase měnit hlas mluvčího (například v online hrách nebo virtuálních schůzkách), aby zabránila zaujatosti nebo obtěžování, přičemž stále přenáší původní emoce a záměr.
  Tyto aplikace naznačují, že deepfaky mohou pomoci jednotlivcům lépe kontrolovat svou digitální identitu a bezpečnost.

Deepfake výměna tváří může sloužit k anonymizaci jednotlivců. Například film Welcome to Chechnya ochránil ohrožené aktivisty překrytím jejich tváří tvářemi dobrovolných herců pomocí AI, čímž skryl jejich identitu a zároveň zachoval přirozené výrazy. To ukazuje, jak syntetická média mohou chránit soukromí v citlivých situacích.

Shrnuto, deepfaky jsou dvousečnou zbraní. Na jedné straně „syntetický obsah není sám o sobě ani pozitivní, ani negativní – jeho dopad závisí na uživateli a jeho záměru“. Výše uvedené příklady zdůrazňují příležitost využít deepfake technologii pro kreativitu, komunikaci a společenské dobro.

Na druhé straně však tato mocná technologie představuje obrovské riziko zneužití. V posledních letech se objevilo mnoho varovných příběhů o podvodech a zneužití deepfaků, kterým se nyní budeme věnovat.

Rizika a zneužití Deepfaků

Šíření snadno vytvářených deepfaků vyvolalo také vážné obavy a hrozby. Průzkum z roku 2023 zjistil, že 60 % Američanů bylo „velmi znepokojeno“ deepfaky – což je jejich největší obava spojená s AI. Klíčová rizika spojená s deepfake technologií zahrnují:

• Dezinformace a politická manipulace: Deepfaky mohou být zneužity k masovému šíření dezinformací. Padělaná videa nebo audiozáznamy veřejných osobností mohou ukazovat, že říkají nebo dělají věci, které se nikdy nestaly, čímž klamou veřejnost. Takové lži mohou podkopat důvěru v instituce, ovlivnit veřejné mínění nebo dokonce vyvolat nepokoje.

  Například během ruské války na Ukrajině se šířilo deepfake video prezidenta Volodymyra Zelenského, které vypadalo, že se vzdává; ačkoliv bylo rychle vyvráceno kvůli zjevným chybám (například nepřiměřeně velká hlava a podivný hlas), ukázalo to potenciál nepřátel využívat AI padělky v propagandě.
  Podobně falešný obrázek „výbuchu“ poblíž Pentagonu se v roce 2023 stal virálním a způsobil krátkodobý pokles akciového trhu, než úřady objasnily, že jde o AI generovaný snímek.

  S postupem deepfaků roste obava, že by mohly být použity k tvorbě extrémně přesvědčivých falešných zpráv, což oslabuje schopnost veřejnosti rozlišovat realitu od fikce. To nejen šíří lži, ale také vytváří chladivý efekt „výhody lháře“ – lidé mohou začít nedůvěřovat i pravým videím nebo důkazům s tvrzením, že jsou deepfaky. Výsledkem je úpadek pravdy a další ztráta důvěry v média a demokratický diskurz.

• Nezákonná pornografie a obtěžování: Jedním z prvních a nejrozšířenějších škodlivých využití deepfaků byla tvorba falešného explicitního obsahu. Pomocí několika fotografií mohou útočníci (často přes anonymní fóra nebo aplikace) vytvářet realistická pornografická videa jednotlivců – obvykle žen – bez jejich souhlasu. Jde o závažné porušení soukromí a sexuální obtěžování.

  Studie zjistily, že převážná většina deepfake videí online (asi 90–95 %) je nezákonná pornografie, téměř vždy s ženskými oběťmi. Taková falešná videa mohou mít devastující dopad na osobní úrovni, způsobovat ponížení, trauma, poškození pověsti a dokonce vydírání. Známé herečky, novinářky i soukromé osoby našly své tváře vložené do pornografického obsahu.

  Orgány činné v trestním řízení a zákonodárci jsou touto situací stále více znepokojeni; například v USA několik států a federální vláda navrhly nebo přijaly zákony kriminalizující deepfake pornografii a poskytující obětem právní ochranu. Škody způsobené deepfake pornografií zdůrazňují, jak může být tato technologie zneužita k porušování soukromí, cílení na jednotlivce (často s antiženským zaujetím) a šíření pomlouvačných falešných obrazů s minimálními náklady pro pachatele.

• Podvody a napodobování: Deepfaky se staly nebezpečnou zbraní pro kyberzločince. AI generované hlasové klony a dokonce i živé video deepfaky se používají k napodobování důvěryhodných osob za účelem podvodného zisku. FBI varuje, že zločinci využívají klonování hlasu a videa pomocí AI k vydávání se za členy rodiny, kolegy nebo vedoucí pracovníky – čímž oběti přimějí poslat peníze nebo odhalit citlivé informace.

  Tyto podvody, často vysoce technologická varianta „napodobování“, již způsobily značné ztráty. V jednom případě zloději použili AI k napodobení hlasu generálního ředitele a úspěšně přesvědčili zaměstnance, aby jim převedl 220 000 € (přibližně 240 000 $). V jiném incidentu zločinci deepfakovali video přítomnost finančního ředitele firmy na Zoom hovoru, aby schválili převod 25 milionů dolarů na podvodné účty.

  Takové deepfake řízené sociální inženýrství roste – zprávy ukazují masivní nárůst deepfake podvodů po celém světě v posledních letech. Kombinace vysoce věrohodných falešných hlasů/videí a rychlosti digitální komunikace může oběti zaskočit. Firmy jsou zvláště ohroženy „CEO podvody“ nebo falešnými příkazy od vedení.

  Pokud zaměstnanci nejsou školeni být skeptičtí k audiovizuálním médiím, mohou následovat deepfake instrukce, které vypadají legitimně. Výsledkem může být krádež peněz, únik dat nebo jiné nákladné škody. Tato hrozba vedla bezpečnostní experty k doporučení silnějších ověřovacích postupů identity (například použití bezpečných kanálů pro potvrzení požadavků) a technických nástrojů pro autentizaci zvuku a videa v citlivých transakcích.

• Úpadek důvěry a právní výzvy: Náhlý nástup deepfaků rozmazává hranici mezi realitou a fikcí, což vyvolává široké společenské a etické obavy. Jak falešný obsah získává na přesvědčivosti, lidé mohou začít pochybovat o autentických důkazech – což je nebezpečné pro spravedlnost a veřejnou důvěru.

  Například skutečné video protiprávního jednání může být pachatelem označeno za „deepfake“, což komplikuje žurnalistiku a soudní řízení. Tento úpadek důvěry v digitální média je těžké kvantifikovat, ale dlouhodobě velmi škodlivý.

  Deepfaky také přinášejí složité právní otázky: Kdo vlastní práva k AI generovanému obrazu osoby? Jak se uplatňují zákony o pomluvě nebo urážce na falešné video, které poškozuje pověst? Existují také otázky souhlasu a etiky – použití něčí tváře nebo hlasu v deepfake bez povolení je obecně považováno za porušení práv, přesto zákony na tuto realitu teprve reagují.

  Některé jurisdikce již začaly vyžadovat jasné označení upravených médií, zejména pokud jsou použita v politické reklamě nebo volbách. Navíc platformy jako sociální sítě jsou pod tlakem, aby detekovaly a odstraňovaly škodlivé deepfaky (podobně jako řeší jiné formy dezinformací nebo manipulovaných médií).

  Technologicky je detekce deepfaků „závodem ve zbrojení“. Výzkumníci vyvíjejí AI systémy pro odhalování jemných stop falešnosti (například anomálie v průtoku krve v obličeji nebo vzorcích mrkání). Jak se však detekce zlepšuje, zlepšují se i metody deepfaků, jak ji obejít – což vede k neustálému souboji kočky s myší.

  Všechny tyto výzvy jasně ukazují, že společnost musí řešit, jak autenticky ověřovat média v době AI a jak pohnat tvůrce deepfaků k odpovědnosti za zneužití.

Jak se orientovat v éře Deepfaků: hledání rovnováhy

AI deepfaky představují klasický dilema technologického pokroku: obrovský potenciál spojený s riziky. Na jedné straně máme bezprecedentní kreativní a prospěšné využití – od zachování hlasů a překladů jazyků po nové formy vyprávění a ochranu soukromí.

Na druhé straně škodlivé využití deepfaků ohrožuje soukromí, bezpečnost a veřejnou důvěru. Do budoucna je klíčové maximalizovat přínosy a minimalizovat škody.

Na mnoha frontách již probíhají snahy. Technologické firmy a výzkumníci investují do nástrojů pro detekci a rámců pro ověřování pravosti (například digitální vodoznaky nebo standardy ověřování obsahu), které pomáhají lidem rozlišovat skutečný obsah od falešného. Zákonodárci po celém světě také zkoumají legislativu, která by omezila nejzávažnější zneužití deepfaků – například zákaz falešné pornografie, dezinformací ve volbách nebo povinnost označovat AI upravená média.

Regulace však samy o sobě jsou náročné vzhledem k rychlému vývoji technologie a překračování jurisdikcí. Stejně důležitá je edukace a osvěta: programy digitální gramotnosti mohou naučit veřejnost kriticky hodnotit média a rozpoznávat známky deepfake, podobně jako se lidé naučili rozpoznávat e-mailové podvody nebo phishing.

Pokud uživatelé vědí, že „dokonalé“ nebo senzacechtivé záběry mohou být falešné, mohou to vzít v úvahu před tím, než na ně zareagují nebo je sdílejí.

>>> Klikněte pro více informací:

Role AI hraje v digitální éře

Problémy umělé inteligence a bezpečnosti dat

Nakonec je fenomén deepfaků tady, aby zůstal – „džin už je venku z láhve a nelze ho vrátit zpět“. Místo paniky nebo úplných zákazů odborníci doporučují vyvážený přístup: podporovat odpovědnou inovaci v syntetických médiích a zároveň vyvíjet silné ochranné mechanismy proti zneužití.

To znamená podporovat pozitivní využití (v zábavě, vzdělávání, dostupnosti apod.) v rámci etických pravidel a zároveň investovat do bezpečnostních opatření, právních rámců a norem, které potrestají škodlivé použití. Společnou prací – technologů, regulátorů, firem i občanů – můžeme vybudovat budoucnost, kde deepfake AI bude „běžná, známá a důvěryhodná“. V takové budoucnosti využijeme kreativitu a pohodlí, které deepfaky nabízejí, a zároveň budeme bdělí a odolní vůči novým formám klamání, které umožňují.

Příležitosti jsou vzrušující a rizika reálná – jejich pochopení je prvním krokem k formování mediálního prostředí řízeného AI, které bude prospěšné celé společnosti.