Co přináší nařízení o umělé inteligenci (AI) a koho se bude týkat?

Právní úprava AI vyvolala už v počátečních fázích velké obavy a otazníky. Vývojářské společnosti upozorňují na to, že přijetím právní úpravy dojde ke zbrzdění technologického vývoje a Evropská unie začne zaostávat za zbytkem světa.  

Nařízení je velmi ambiciózní a stanoví si za cíl komplexně upravit používání AI v Evropské unii tak, aby podporovalo zavádění a používání AI a současně zmírňovalo rizika, která jsou s ní spojena. Usiluje o to, aby nedocházelo k neetickému nebo nezákonnému využívání AI a k porušování základních práv. Proč novou právní úpravu potřebujeme a jaká omezení a povinnosti s sebou přinese? 

AI, umělá inteligence. O čem to vlastně mluvíme? 

Abychom věděli, co vlastně nařízení upravuje, je potřeba si vysvětlit, jak umělou inteligenci definuje nařízení. Umělá inteligence je takový software:  

• při jehož vývoji se používá jedna nebo více technik a přístupů uvedených v Příloze I nařízení; a  
• který může, na základě člověkem stanovených cílů, generovat výstupy jako je obsah, predikce, doporučení nebo rozhodnutí ovlivňující prostředí, s nimiž daný člověk komunikuje.  

Tvůrci nařízení si uvědomují, že se jedná o velmi rychle se vyvíjející skupinu technologií, která může přinést spoustu výhod ve většině odvětví, šetřit náklady, pomoct vědeckému a technologickému vývoji a celkově zlepšit životní úroveň společnosti (podle nejnovějších odhadů až o 14 %).  

V živém přenosu sledujeme, jaký potenciál AI má a do budoucna by mohla přinést revoluci například ve zdravotnictví, kde by mohla pomáhat stanovovat diagnózy nebo při vývoji léků na různá onemocnění. Zároveň je ale důležitá mít na paměti rizika, která jsou s AI spojena a která se vyskytují v současnosti právě kvůli neexistenci regulace, mezi které patří např. rozmach dětské pornografie, masivní úniky dat nebo porušování autorských práv.  

O tom, jak se vyhnout porušování autorských práv, jsme již psali v praktickém článku Jak (ne)pracovat komerčně s výstupy.

Co a pro koho nařízení o AI upravuje? 

Nařízení se týká jakékoli používání technologií AI v Evropské unii. To znamená, že se jím budou muset řídit všechny subjekty, které uvádí AI technologie na evropský trh bez ohledu na to, jestli jde o společnosti se sídlem v Evropě nebo mimo ni. Platit bude také pro všechny uživatele AI v Evropě.  

Právní úprava obsahuje hlavně:  

1. Pravidla pro vývoj. Nařízení obsahuje požadavky na trénování a technický popis technologií AI. V současnosti se objevily například problémy s trénováním technologií na sadách dat, které podléhají autorskému právu. Aby se předešlo hromadnému porušování autorských práv a následným soudním sporům, zavádí nařízení povinnosti a postupy, aby bylo trénování technologií v souladu s právními předpisy.  
2. Uvádění na trh a používání systémů s umělou inteligencí. Evropská unie chce zajistit, aby technologie, kterou budou používány na evropském trhu, byly bezpečné a v souladu s již platnými právními předpisy. 
3. Zákaz určitých praktik v rámci umělé inteligence. Mezi zakázané technologie budou patřit zejména systémy tzv. sociálního skórování nebo systémy pro prediktivní policejní práci. Tyto technologie jsou v rozporu s hodnotami Evropské unie a lidskými právy, a proto je jejich používání nepřípustné. 
4. Zvláštní požadavky, které musí splňovat vysoce rizikové systémy s umělou inteligencí. Bude se jednat zejména o systémy v HR, které zpracovávají životopisy a mohly by tak systémově diskriminovat určitou skupinu osob, pokud by byly špatně nastaveny nebo nástroje v soudnictví či programy posuzující přihlášky ke studiu. 
5. Pravidla transparentnosti pro systémy s umělou inteligencí. Nařízení požaduje možnost trasovat cestu, kterou technologie AI dospěla k určitému výsledku. Zároveň zakotvuje povinnost informovat uživatele o tom, že komunikují s umělou inteligencí. 
6. Zajištění právní jistoty s cílem usnadnit investice a inovace v oblasti AI. Evropská unie si plně uvědomuje přínos a potenciál technologií AI, a proto chce pravidla nastavit tak, aby společnosti věděly, co mohou do budoucna čekat a nebály se investovat na evropském trhu. 
7. Pravidla pro monitorování a dohled nad trhem. Vzhledem k tomu, že AI je nová a velmi rychle se rozvíjející oblast, je potřeba zavést účinné dozorové procesy a současně zlepšit správy a účinného vymáhání stávajících právních předpisů. 

Technologická revoluce, nebo konec světa?  

Nařízení rozčleňuje AI do několika kategorií podle jejich možného rizika, z čehož následně vychází jejich (ne)přípustnost, rozdílná právní úprava a povinnosti a omezení společností, které je vyvíjejí nebo využívají. Jedná se o škálu rizikovosti od nepřijatelně rizikových AI technologií, přes vysoce rizikové, omezeně rizikové po minimálně rizikové. Cílem této kategorizace je zavést rozdílné povinnosti a přístup tak, aby byla zajištěna bezpečnost, transparentnost, nestrannost a etické standarty AI technologií. 

Nepřijatelně rizikové  

Všechny AI technologie, které spadají do této kategorie, jsou bez dalšího zakázány a nebude možné je vyvíjet a uvádět na evropský trh. Jejich používání by bylo v rozporu s hodnotami a základními právy EU.  

Jedná se o poměrně úzce vymezenou kategorii zvláště škodlivého využívání umělé inteligence, mezi které patří:  

• systémy směřující k manipulaci s lidským chováním prostřednictvím podprahových technik bez jejich vědomí; 
• systémy zneužívající zranitelnost konkrétních skupin, kterými jsou např. děti nebo osoby se zdravotním postižením, s cílem podstatně ovlivnit chování těchto osob; 
• systémy orgánů veřejné moci založené na sociálním skórování, tedy hodnocení nebo klasifikaci důvěryhodnosti fyzických osob na základě jejich sociálního chování nebo osobních vlastnostech (používané zejména v Číně); a
• systémy sloužící k prediktivní policejní práci, které spočívají v biometrické identifikaci osob na dálku v reálném čase na veřejně přístupných místech za účelem vymáhání práva (používané např. v USA nebo Velké Británii a spočívají v tom, že by vás například na ulici sledovaly kamery v momentě, kdy vám zemřela blízká osoba nebo jste ztratili práci, protože by AI vyhodnotila, že je pravděpodobnější, že spácháte trestný čin).  

Vysoce rizikové 

Do této kategorie spadají systémy s možným nepříznivým dopadem na bezpečnosti lidí nebo jejich základní práva, zejména veškeré systémy biometrické identifikace na dálku.  

Dále to jsou technologie používané například v:  

• kritické infrastruktuře (např. v dopravě); 
• vzdělávání nebo odborné přípravě, které by mohly mít vliv na přístup ke vzdělání nebo další kariérní postup (hodnocení životopisů při výběrových řízeních a výběr vhodných kandidátů); 
• bezpečnostních součástech produktů (strojní zařízení, hračky, zdravotnické prostředky);
• zaměstnávání, řízení pracovníků a přístupu k samostatně výdělečné činnosti;
• vymáhání práva, která může zasahovat do základních lidských práv (např. hodnocení spolehlivosti důkazů);
• výkonu spravedlnosti či soudnictví a demokratických procesech.  

Tyto technologie nejsou zakázané, ale nařízení zavádí přísné požadavky na jejich vývoj a používání. Společnosti, které budou chtít uvést takovou technologii na trh, si ji budou muset nejprve nechat schválit od kontrolního orgánu a budou muset prokázat, že splňují všechny podmínky. Aby společnost získala certifikát, její AI technologie registraci a mohla být používána, bude nutné předložit poměrně rozsáhlou dokumentaci. Tato fáze bude pro společnosti jak časově, tak finančně náročná a bude potřeba se na ni dopředu připravit.  

Nařízení kromě předběžné kontroly zavádí i průběžnou, resp. následnou kontrolu, která bude probíhat v průběhu celého životního cyklu výrobku/systému.  

Jedná se zejména o požadavky na: 

• kvalitu použitých souborů dat (např. data, která neporušují autorská práva jiných osob); 
• systémy hodnocení a zmírňování rizik (společnost bude muset mít účinný systém, který bude monitorovat, jestli nedošlo např. k úniku dat nebo jak je možné takovému úniku zabránit); 
• zaznamenávání činnosti k zajištění sledovatelnosti výsledků (aby bylo možné zpětně zkontrolovat, jak AI technologie dospěla ke konkrétnímu výsledku a zabránilo se lhaní, se kterým se můžeme setkat např. u ChatGPT); 
• dokumentaci obsahující veškeré informace o systému a jeho účelu (někdy totiž systém sám o sobě může vypadat v pořádku, ale „závadný“ je proto, že se využívá ke špatnému účelu); 
• jasné a přiměřené informace pro uživatele (upozornění pro uživatele, že komunikují s umělou inteligencí, aby se mohli rozhodnout, jestli chtějí pokračovat nebo ne a že informace, která se dozvědí jsou vygenerovány umělou inteligencí); a
• vhodná opatření zajišťující lidský dohled. 

V některých případech, zejména u biometrické identifikace a kontrolování videozáznamů, bude nutné nejdříve získat souhlas soudu, aby byla vždy zajištěna náležitá ochrana základních lidských práv.  

Omezeně rizikové 

Za omezeně rizikové se považují ty systémy, které jsou určeny pro interakci s fyzickými osobami, pokud nespadají do více rizikových kategorií. Na tyto technologie se má vztahovat povinnost transparentnosti, zejména v případech, ve kterých existuje riziko manipulace.  

Evropská unie považuje za zásadní, aby uživatelé věděli, že komunikují se strojem, mohli se rozhodnout, jestli v tom chtějí pokračovat a zároveň přistupovali k získaným informacím s vědomím, že jsou vygenerovány umělou inteligencí. Tento požadavek se vztahuje i na tzv. generativní modely, kterými jsou např. ChatGPT. Nařízení vyžaduje, aby u každé informace vygenerované AI, bylo zjevné, jak k ní dospěla, aby se zabránilo fabulacím a šíření lží.  

Generativní AI bude muset splňovat tři základní požadavky:  

• zveřejnění obsahující informaci, že obsah byl generován umělou inteligencí; 
• navržení systému tak, aby se zabránilo generování nezákonného obsahu; 
• zveřejňování souhrnů dat chráněných autorskými právy, která byla použita k tréninku systému. 

Minimálně rizikové 

Pokud technologie nespadá do žádné z uvedených kategorií, jedná se o systém s minimálním rizikem, na který se uplatní tzv. volný režim. Do budoucna bude možné vyvíjet a používat tyto systémy tak, jak tomu bylo doteď, tedy v souladu se současně platnými právními předpisy.  

Na společnosti, které budou uvádět na trh nebo používat technologie AI, které nepatří do kategorie vysoce rizikové, bude dopadat základní informační povinnost vůči orgánům veřejné moci. Zároveň budou moct přijmout kodex chování, ve kterém by se dobrovolně zavázaly k dodržování určitých povinností tak, aby jejich systémy AI byly víc důvěryhodné.  

Čekají nás milionové pokuty? 

Ano. Za nedodržení nových pravidel hrozí několikamilionové pokuty (až do výše 30 milionů EUR nebo 6 % celosvětového ročního obratu) a jednání bude považováno za přestupek. Sankce budou sjednoceny napříč celou Evropskou unií.  

Nad dodržováním povinností budou bdít v jednotlivých členských státech za tímto účelem nově zřízené orgány. Ty budou současně také ukládat sankce a zajišťovat řádné uplatňování nařízení. Budou shromažďovat informace o incidentech od společností a pravidelně je předávat Komisi k dalšímu vyhodnocení. Kromě vnitrostátních orgánů bude ale zřízena i Evropská rada pro umělou inteligenci. 

Lidská práva na prvním místě  

Pokud bude nařízení finálně schváleno, můžeme očekávat, že v průběhu roku 2025 se jím budeme muset začít řídit. Pro společnosti vyvíjející nebo používající AI přinese v každém případě povinnost informovat kontrolní orgány o používaných technologiích a požadavky na transparentnost. 

V případě více rizikových systémů pak bude potřeba rozsáhlejší příprava dokumentů a podkladů, kterými společnost doloží svoji žádost o registraci technologie a které bude muset pravidelně aktualizovat pro účely průběžných kontrol.  

Přestože nařízení s sebou přinese v některých případech rozsáhlejší administrativní zátěž, je to směr, kterým se Evropská unie rozhodla vydat. Ukazuje tím, že lidská práva a soukromí jsou hodnotnější než čistý ekonomický zisk a technologický vývoj. To, do jaké míry to ovlivní evropský trh a jestli se z Evropy stane technologický „otloukánek“, budeme moct pravděpodobně v příštích letech sledovat v přímém přenosu.  

Pracujete s nástroji umělé inteligence? Možná by vás zajímalo, jak můžete s klidem použít svoje výstupy komerčně. Ve srozumitelném článku Ondřeje Hanáka dostanete odpovědi na otázky, které vás v souvislosti s umělou inteligencí mohou napadnout. 

Potřebujete s námi zkonzultovat nějaký právní problém v oblasti AI? Ozvěte se na napistenam@elegal.cz a my se s Vámi rádi spojíme.