Objavljeno: 11.5.2026.
Agencija za zaštitu osobnih podataka, kao neovisno nadzorno tijelo za zaštitu osobnih podataka u Republici Hrvatskoj, u okviru zadaća propisanih člankom 57. stavkom 1. Uredbe (EU) 2016/679 Europskog parlamenta i Vijeća od 27. travnja 2016. o zaštiti pojedinaca u vezi s obradom osobnih podataka i o slobodnom kretanju takvih podataka te o stavljanju izvan snage Direktive 95/46/EZ, odnosno Opće uredbe o zaštiti podataka, donosi ovu preporuku radi pojašnjenja obveza voditelja obrade pri obradi osobnih podataka u kontekstu automatiziranog donošenja odluka i profiliranja.
Agencija za zaštitu osobnih podataka skreće pozornost voditeljima obrade da se sve veći broj odluka koje se odnose na pojedince danas donosi uz potporu algoritamskih sustava, sustava strojnog učenja, sustava za bodovanje, rangiranje, procjenu rizika, filtriranje, preporučivanje ili drugih oblika automatizirane obrade. Takvi sustavi mogu se koristiti u različitim područjima, primjerice u financijskim uslugama, osiguranju, zapošljavanju, obrazovanju, zdravstvu, socijalnoj skrbi, upravljanju radnicima, moderiranju sadržaja, upravljanju korisničkim računima, digitalnim igrama i drugim internetskim uslugama.
Uporaba takvih sustava sama po sebi nije zabranjena. Međutim, kada se osobni podaci koriste na način koji može dovesti do odluke o pojedincu, voditelj obrade mora osigurati da je takva obrada zakonita, poštena, transparentna, razmjerna i podložna učinkovitoj provjeri. Posebnu pozornost potrebno je posvetiti situacijama u kojima se odluka temelji isključivo na automatiziranoj obradi, uključujući profiliranje, te proizvodi pravne učinke koji se odnose na ispitanika ili na njega na sličan način značajno utječe.
Članak 22. Opće uredbe o zaštiti podataka upravo je usmjeren na takve situacije, a njegova svrha je osigurati da pojedinac ne bude podvrgnut važnoj odluci koja je donesena na temelju neprovjerljivog, netransparentnog ili nerazumljivog automatiziranog postupka. To je osobito važno u kontekstu umjetne inteligencije, gdje rezultati sustava mogu imati stvarne posljedice za životne mogućnosti pojedinca, a istodobno mogu biti teško razumljivi i samom voditelju obrade.
Istraživanja provedena za potrebe nadzornih tijela pokazuju da građani često imaju samo općenitu svijest o tome da se algoritmi i umjetna inteligencija koriste u svakodnevnom životu, ali znatno slabije razumiju kada se njihovi osobni podaci obrađuju, kako takva obrada utječe na odluke i kome se mogu obratiti ako smatraju da je odluka pogrešna ili nepravedna.
Agencija ističe da je građanima potrebno pružiti više transparentnosti i razumljivih informacija o načinu rada i učinku algoritama i umjetne inteligencije koji obrađuju osobne podatke.
Transparentnost je u kontekstu automatiziranog odlučivanja preduvjet da ispitanik može razumjeti odluku, provjeriti točnost podataka, prepoznati moguću pogrešku ili diskriminaciju i djelotvorno ostvariti svoja prava.
Kada dolazi do primjene članka 22. Opće uredbe o zaštiti podataka?
Članak 22. Opće uredbe ne primjenjuje se na svaku uporabu algoritma, automatiziranog alata ili sustava umjetne inteligencije. Za njegovu primjenu potrebno je u svakom konkretnom slučaju utvrditi postoji li odluka koja se odnosi na ispitanika, temelji li se ta odluka isključivo na automatiziranoj obradi, uključujući profiliranje, te proizvodi li pravne učinke ili na sličan način značajno utječe na ispitanika.
Agencija ističe da je potpuno automatizirana odluka ona odluka koja je donesena o osobi putem algoritama primijenjenih na njezine osobne podatke, bez ikakve ljudske intervencije u postupku. Takve odluke mogu se pojaviti u brojnim područjima, uključujući financije, oporezivanje, marketing, zdravstvo, obrazovanje, osiguranje, socijalnu zaštitu i borbu protiv prijevara, te mogu proizvesti pravne ili druge značajne učinke za pojedince.
Pritom nije odlučan naziv sustava niti formalni opis postupka. Nije dovoljno navesti da sustav daje samo „preporuku”, „ocjenu”, „indikator”, „rang”, „rezultat bodovanja” ili „procjenu rizika”. Ključno je utvrditi kakvu stvarnu ulogu takav rezultat ima u konkretnom postupku odlučivanja i u kojoj mjeri utječe na konačni ishod za ispitanika.
Agencija stoga preporučuje da voditelji obrade u svakom konkretnom slučaju istodobno razmotre tri pitanja: donosi li se na temelju sustava odluka o određenoj osobi, proizvodi li ta odluka pravne učinke ili na osobu na sličan način značajno utječe te postoji li u postupku stvarna, a ne samo formalna, ljudska uključenost.
Pogrešno određivanje same odluke ili njezina učinka može dovesti i do pogrešne procjene o tome je li ljudska uključenost postojala u relevantnom trenutku i je li bila dostatna da se odluka ne smatra isključivo automatiziranom.
Sud Europske unije je u predmetu SCHUFA Holding, C-634/21 zauzeo stajalište da automatizirano izračunavanje vjerojatnosne vrijednosti odnosno ocjene kreditne sposobnosti može predstavljati odluku u smislu članka 22. Opće uredbe ako se treća strana, primjerice banka, snažno oslanja na tu vrijednost pri odlučivanju o sklapanju, provedbi ili prestanku ugovornog odnosa s pojedincem. Time je Sud jasno naznačio da se zaštita iz članka 22. ne može zaobići tako da se automatizirani rezultat formalno prikaže samo kao pripremna radnja ili pomoćna informacija, ako on u stvarnosti odlučujuće utječe na ishod za ispitanika.
Pravni učinci postoje kada odluka utječe na pravni položaj, prava ili obveze pojedinca, primjerice na sklapanje ili raskid ugovora, ostvarivanje socijalnog prava, pristup određenoj usluzi ili mogućnost ostvarivanja prava iz radnog odnosa. Sličan značajan učinak može postojati i kada odluka formalno ne mijenja pravni status osobe, ali ima stvaran i ozbiljan utjecaj na njezine okolnosti, ponašanje, mogućnosti ili izbore. Agencija ističe da se značajan učinak može odnositi i na odluke koje utječu na okruženje osobe, njezino ponašanje ili izbore, dovode do financijski nepovoljnijeg položaja ili mogu rezultirati diskriminacijom.
S druge strane, sama činjenica da je odluka isključivo automatizirana ili temeljena na profiliranju nije dovoljna za primjenu članka 22. Ako odluka nema pravni učinak niti na ispitanika na sličan način značajno utječe, članak 22. neće biti primjenjiv, iako se na obradu i dalje primjenjuju ostale odredbe Opće uredbe o zaštiti podataka. Primjerice, automatizirana preporuka sadržaja na platformi za video na zahtjev, koja se temelji na prethodnim navikama gledanja korisnika, može utjecati na njegov izbor sadržaja. Međutim, takav utjecaj u uobičajenim okolnostima neće nužno biti usporediv s odlukom koja utječe na pravni položaj, pristup važnoj usluzi, financijski položaj, radni odnos, obrazovanje ili drugu važnu životnu mogućnost ispitanika.
Iznimke od zabrane automatiziranog odlučivanja
Članak 22. stavak 1. Opće uredbe u pravilu zabranjuje odluke koje se temelje isključivo na automatiziranoj obradi, uključujući profiliranje, ako proizvode pravne učinke ili na sličan način značajno utječu na ispitanika. Takve odluke dopuštene su samo u slučajevima iz članka 22. stavka 2. Opće uredbe.
Prva iznimka odnosi se na situaciju u kojoj je odluka nužna za sklapanje ili izvršenje ugovora između ispitanika i voditelja obrade. Pritom se nužnost ne može tumačiti široko. Nije dovoljno da je automatizirani postupak brži, jednostavniji, jeftiniji ili organizacijski prikladniji za voditelja obrade. Voditelj obrade mora moći dokazati da se svrha ne može razumno postići drugim, manje invazivnim sredstvom.
Druga iznimka odnosi se na slučajeve u kojima je takvo odlučivanje dopušteno pravom Unije ili pravom države članice koje se primjenjuje na voditelja obrade. U tom slučaju propis mora biti dovoljno jasan, predvidljiv i mora sadržavati odgovarajuće mjere zaštite prava, sloboda i legitimnih interesa ispitanika. U javnom sektoru to znači da automatizirano odlučivanje ne bi trebalo biti uvedeno samo internom odlukom, tehničkim projektom ili organizacijskom praksom, nego mora imati jasnu pravnu osnovu.
Treća iznimka odnosi se na izričitu privolu ispitanika. Takva privola mora biti slobodna, posebna, informirana i nedvosmislena. U kontekstu članka 22. to znači da ispitanik mora jasno razumjeti da pristaje na odluku koja će se o njemu donijeti isključivo automatizirano i koja za njega može imati pravne ili slične značajne posljedice. Privola ne može biti valjana ako je skrivena u općim uvjetima, ako nije odvojena od drugih obrada ili ako ispitanik nije jasno obaviješten o posljedicama takvog odlučivanja.
Legitimni interes iz članka 6. stavka 1. točke (f) Opće uredbe sam po sebi nije iznimka od zabrane iz članka 22. Ako se obrada nalazi u području primjene članka 22., voditelj obrade mora se moći pozvati na jednu od triju iznimki iz članka 22. stavka 2., a ne samo na legitimni interes.
Posebne kategorije osobnih podataka
Ako se automatizirana odluka iz članka 22. temelji na posebnim kategorijama osobnih podataka iz članka 9. stavka 1. Opće uredbe, primjenjuju se dodatna ograničenja iz članka 22. stavka 4. Takve odluke dopuštene su samo ako je ispunjena jedna od iznimki iz članka 22. stavka 2. i ako se primjenjuje izričita privola ispitanika iz članka 9. stavka 2. točke (a) ili je obrada nužna zbog važnog javnog interesa na temelju prava Unije ili države članice iz članka 9. stavka 2. točke (g), uz odgovarajuće mjere zaštite.
Voditelji obrade trebaju uzeti u obzir da posebne kategorije podataka ne nastaju samo kada osoba sama izravno dostavi podatak o, primjerice, zdravlju, političkim mišljenjima ili vjerskom uvjerenju. Takvi se podaci mogu i izvesti ili zaključiti iz drugih podataka, osobito u sustavima profiliranja i strojnog učenja. U praksi to znači da voditelj obrade mora procijeniti ne samo koje podatke izravno unosi u sustav, nego i koje zaključke, kategorije, ocjene ili predikcije sustav može proizvesti.
Profiliranje i automatizirano donošenje odluka
Profiliranje je svaka automatizirana obrada osobnih podataka koja se sastoji od uporabe osobnih podataka radi procjene određenih osobnih aspekata pojedinca, osobito radi analize ili predviđanja njegova radnog učinka, ekonomskog stanja, zdravlja, osobnih preferencija, interesa, pouzdanosti, ponašanja, lokacije ili kretanja.
Profiliranje i automatizirano donošenje odluka mogu, ali ne moraju, postojati istodobno. Profiliranje može služiti segmentiranju korisnika, procjeni rizika ili predviđanju ponašanja, bez donošenja konačne odluke. S druge strane, automatizirana odluka može se donijeti i bez složenog profiliranja, primjerice kada sustav automatski odbija zahtjev jer nije ispunjen unaprijed određen uvjet.
Agencija naglašava da su profiliranje i automatizirano donošenje odluka u praksi često usko povezani: izrada profila osobe nerijetko vodi donošenju odluke o toj osobi, a brojne potpuno automatizirane odluke temelje se upravo na profiliranju. Zbog toga svako profiliranje zahtijeva posebnu pozornost, čak i kada se ne doseže prag članka 22., jer po svojoj naravi može stvarati važne rizike za prava i slobode pojedinaca.
Agencija dodatno ističe da profiliranje može stvoriti nove osobne podatke kao rezultat analize, primjerice kada se osoba svrstava u određenu skupinu, kategoriju ili profil na temelju povezanosti između različitih ponašanja i obilježja. To je osobito važno kod sustava umjetne inteligencije i strojnog učenja, jer se na temelju naizgled nepovezanih podataka mogu izvesti zaključci o ponašanju, interesima, pouzdanosti, riziku ili budućim postupcima pojedinca.
Kada se profil, ocjena rizika, ocjena kreditne sposobnosti, rang, kategorija ili drugi izvedeni podatak koristi kao osnova za odluku koja za pojedinca ima pravne ili slične značajne posljedice, voditelj obrade mora posebno pažljivo procijeniti primjenjuje li se članak 22. Opće uredbe. U tom smislu osobito su rizični sustavi koji procjenjuju podobnost osobe za kredit, posao, obrazovni program, zdravstvenu ili socijalnu uslugu, osiguranje, pristup digitalnoj platformi ili drugu važnu uslugu.
Pritom treba imati na umu da se i na profiliranje koje ne ulazi u područje primjene članka 22. primjenjuju druga pravila Opće uredbe o zaštiti podataka, uključujući načela iz članka 5., obveze informiranja iz članaka 13. i 14., pravo na pristup iz članka 15. te, ovisno o pravnoj osnovi i svrsi obrade, pravo na prigovor iz članka 21. Ako se profiliranje temelji na legitimnom interesu voditelja obrade ili treće strane, ispitanik ima pravo uložiti prigovor na takvu obradu iz razloga koji se odnose na njegovu posebnu situaciju. Ako se osobni podaci obrađuju za potrebe izravnog marketinga, uključujući profiliranje u mjeri u kojoj je povezano s takvim marketingom, ispitanik ima pravo u svakom trenutku uložiti prigovor, a voditelj obrade mora prestati s takvom obradom.
Ljudska uključenost i ljudska intervencija
Članak 22. Opće uredbe ne može se izbjeći pukim formalnim uključivanjem čovjeka u postupak odlučivanja. Ako osoba koja sudjeluje u postupku nema stvarnu mogućnost razumjeti automatizirani rezultat, provjeriti relevantne podatke i okolnosti slučaja te promijeniti, odbiti ili poništiti predloženi ishod, odluka se i dalje može smatrati odlukom koja se temelji isključivo na automatiziranoj obradi. Ljudska uključenost mora biti stvarna, sadržajna, pravodobna i učinkovita. To znači da osoba koja provodi provjeru mora imati odgovarajuće znanje o postupku i korištenom sustavu, pristup relevantnim informacijama, dovoljno vremena za razmatranje okolnosti konkretnog slučaja te stvarnu ovlast utjecati na konačni ishod. Ako se ljudska uloga svodi na automatsko prihvaćanje ili potvrđivanje rezultata sustava, bez samostalne procjene i bez mogućnosti promjene odluke, takva uključenost nije dostatna da bi se odluka smatrala ljudski donesenom. Pritom je potrebno razlikovati ljudsku uključenost u postupku odlučivanja od ljudske intervencije kao zaštitne mjere nakon donošenja odluke.
Ljudska uključenost postoji prije ili tijekom donošenja odluke i relevantna je za procjenu temelji li se odluka isključivo na automatiziranoj obradi. Ako je takva uključenost stvarna, sadržajna i pravodobna, odluka se u pravilu neće smatrati odlukom koja se temelji isključivo na automatiziranoj obradi u smislu članka 22. stavka 1. Opće uredbe o zaštiti podataka.
S druge strane, ljudska intervencija iz članka 22. stavka 3. Opće uredbe odnosi se na pravo ispitanika da, kada je isključivo automatizirana odluka dopuštena na temelju jedne od iznimki iz članka 22. stavka 2., zatraži ljudsko preispitivanje već donesene odluke, izrazi svoje stajalište i ospori odluku. I u tom slučaju preispitivanje ne smije biti formalno. Osoba koja preispituje odluku mora imati ovlast promijeniti ishod, razumjeti izlaz sustava, njegova ograničenja i rizike te uzeti u obzir relevantne podatke i okolnosti na kojima se odluka temeljila.
Primjerice, automatizirani sustav evidencije radnog vremena može označiti da je radnik kasnio određeni broj puta. Ako neposredno nadređena osoba ili osoba nadležna za upravljanje ljudskim potencijalima stvarno pregleda podatke, provjeri je li evidencija točna, uzme u obzir opravdane razloge zakašnjenja i ima ovlast odlučiti da se upozorenje ne izda, tada postoji stvarna ljudska uključenost u postupku odlučivanja. Takva odluka u pravilu se neće smatrati isključivo automatiziranom.
Suprotno tome, ako sustav automatski generira upozorenje, a čovjek ga samo formalno potvrdi bez stvarne provjere, razumijevanja razloga i mogućnosti promjene ishoda, ljudska uključenost nije stvarna. U takvom slučaju odluka se i dalje može smatrati isključivo automatiziranom ako proizvodi pravne ili slične značajne učinke za radnika.
Ovaj zahtjev ima posebnu važnost kod sustava umjetne inteligencije. Što je sustav složeniji, to je veći rizik od prekomjernog oslanjanja na njegov rezultat, osobito ako osobe uključene u postupak nisu dovoljno educirane ili ako organizacijski proces potiče brzo potvrđivanje automatiziranih preporuka. Voditelj obrade stoga mora moći dokazati ne samo da je čovjek formalno uključen u postupak, nego i da je njegova uloga stvarna, stručna, neovisna i dokumentirana.
Obveza objašnjenja automatizirane odluke
Transparentnost je jedan od ključnih preduvjeta zakonitosti automatiziranog odlučivanja. Ispitanik mora znati da se o njemu donosi automatizirana odluka, mora razumjeti bitne razloge koji su doveli do ishoda i mora imati stvarnu mogućnost ostvariti svoja prava.
Agencija posebno naglašava da automatizirane odluke, iako ih je često teško razumjeti ili uopće prepoznati, mogu imati značajne učinke u svakodnevnom životu. To mogu biti, primjerice, automatsko odbijanje zahtjeva za kredit, nepovoljnije financijsko postupanje, automatsko isključivanje kandidata iz postupka zapošljavanja, raskid ili odbijanje ugovora, odnosno uskraćivanje ili ograničavanje socijalnog prava. Ispitanik, kada je takva odluka dopuštena, mora moći biti informiran da je o njemu donesena potpuno automatizirana odluka, zatražiti informacije o logici i kriterijima korištenima za donošenje odluke, osporiti odluku, izraziti svoje stajalište i zatražiti intervenciju čovjeka koji može ponovno ispitati odluku.
U tom smislu nije dovoljno ispitaniku općenito navesti da se „mogu koristiti algoritmi”, da se „odluke mogu donositi automatizirano” ili da se „koriste napredni analitički alati”. Takve formulacije ne omogućuju pojedincu da razumije kako obrada utječe na njegov položaj. Ispitaniku mora biti jasno u koju se svrhu koristi automatizirano odlučivanje, koristi li se profiliranje, koje se kategorije podataka uzimaju u obzir, koje su moguće posljedice odluke te kako može zatražiti ljudsku intervenciju i osporiti ishod.
Kod objašnjenja je korisno razlikovati dvije razine. Prva je opće objašnjenje, koje se daje unaprijed, primjerice u obavijesti o obradi, uz obrazac zahtjeva ili u korisničkom sučelju. Opće objašnjenje opisuje postupak odlučivanja općenito: svrhu obrade, kategorije podataka, glavne čimbenike koji mogu utjecati na odluku i prava ispitanika. Druga razina je osobno objašnjenje, koje se daje na zahtjev ispitanika i odnosi se na konkretnu odluku donesenu o njemu. Osobno objašnjenje mora biti specifično te mora obuhvatiti podatke koji su korišteni u slučaju konkretnog pojedinca, relevantne izvedene podatke, primjerice ocjenu rizika ili ocjenu kreditne sposobnosti, glavne čimbenike koji su utjecali na ishod i vezu između tih čimbenika i odluke.
Agencija posebno naglašava razliku između općeg objašnjenja automatiziranog odlučivanja i osobnog objašnjenja konkretne odluke.
Naime, pojedinac mora dobiti objašnjenje koje se odnosi na stvarni ishod u njegovom slučaju, a ne samo ponavljanje općih informacija iz obavijesti o obradi osobnih podataka/politici privatnosti. Takva informacija treba omogućiti osobi da razumije odluku, specifične okolnosti koje su utjecale na njezin slučaj i da na temelju toga odluči hoće li osporiti odluku ili zatražiti ljudsku intervenciju.
Informacije o automatiziranom odlučivanju moraju biti prilagođene osobama kojima su namijenjene. Nije dovoljno da su formalno dostupne u politici privatnosti ili općim uvjetima ako su napisane tehničkim, pravnim ili nejasnim jezikom koji prosječni ispitanik ne može razumjeti.
Primjer nedostatnog objašnjenja bio bi:
„Vaš zahtjev za zajam odbijen je na temelju automatizirane procjene kreditnog rizika. Odluka je donesena primjenom internog algoritma banke, uzimajući u obzir više čimbenika povezanih s Vašim financijskim profilom.”
Takvo objašnjenje nije dovoljno jer ispitaniku ne omogućuje da razumije koji su konkretni podaci korišteni, koji su čimbenici bili odlučni, je li neki podatak netočan ili zastario, na koje se razdoblje odnosi procjena ni što bi mogao osporavati”.
Primjerenije objašnjenje bilo bi:
„Vaš zahtjev za zajam odbijen je nakon automatizirane procjene kreditne sposobnosti. Sustav je uzeo u obzir podatke o Vašim redovitim mjesečnim prihodima, postojećim kreditnim obvezama, povijesti kašnjenja u plaćanju tijekom posljednjih 24 mjeseca i omjeru Vaših mjesečnih obveza u odnosu na prihode. Na konačni ishod najviše su utjecali podatak o četiri evidentirana kašnjenja u plaćanju u posljednjih 12 mjeseci te podatak da bi, nakon odobrenja novog zajma, Vaše ukupne mjesečne obveze premašile prag koji banka primjenjuje u procjeni kreditnog rizika. Ako smatrate da su podaci o kašnjenju netočni, nepotpuni ili ne odražavaju Vašu trenutačnu financijsku situaciju, možete zatražiti ljudsko preispitivanje odluke, dostaviti dodatnu dokumentaciju i osporiti odluku”.
Što znači smislena informacija o logici?
Pojam „logika” ne treba shvatiti kao obvezu otkrivanja cjelovitog izvornog koda, tehničke dokumentacije ili matematičke formule modela. Međutim, ne smije se shvatiti ni toliko usko da ispitanik na kraju ne sazna ništa korisno. Smislena informacija o logici mora objasniti odnos između podataka koji su korišteni, kriterija koji su uzeti u obzir, postupka obrade i konačnog ishoda.
Agencija posebno naglašava da logika u ovom kontekstu ne znači samo matematičku logiku, nego ponajprije vezu između obrađenih podataka i konačne odluke. Objašnjenje ne mora biti formula algoritma, ali mora opisati što je algoritam učinio u postupku odlučivanja: koji je cilj sustava, koje korake slijedi, koje varijable ili kriterije uzima u obzir i koji su podaci korišteni.
Sud Europske unije u predmetu Dun & Bradstreet Austria, C-203/22 pojasnio je da voditelj obrade mora opisati postupak i načela koja su stvarno primijenjena na način koji ispitaniku omogućuje da razumije koji su njegovi osobni podaci korišteni i kako su korišteni u automatiziranom odlučivanju. Sud je također istaknuo da sama dostava algoritma nije nužno dovoljno razumljivo objašnjenje.
U praksi to znači da objašnjenje mora biti dovoljno konkretno da ispitanik može razumjeti zašto je odluka za njega bila negativna, koji su podaci ili čimbenici bili odlučni, jesu li podaci točni i postoji li osnova za osporavanje odluke. Objašnjenje koje je tehnički opširno, ali nerazumljivo, ne ispunjava svoju svrhu. Jednako tako, objašnjenje koje je jezično jednostavno, ali ne sadrži stvarne razloge odluke, nije dovoljno.
Objašnjenje ne smije ostati na razini opće tvrdnje da je „odluka donesena algoritmom”. Osobi mora biti omogućeno da sazna barem logiku i kriterije koji su korišteni za donošenje odluke, kako bi mogla razumjeti razloge odluke i učinkovito je osporiti.
U tom smislu korisno je da voditelj obrade može objasniti koji su čimbenici pridonijeli odluci, je li uključeno profiliranje, jesu li na odluku utjecali podaci dobiveni od treće strane, koji su podaci obrađeni, na koje se razdoblje odnose, što je sustav utvrdio i koje je čimbenike rizika identificirao. Primjerice, kod automatizirane odluke o odobravanju ili odbijanju zajma, ispitanik mora dobiti dovoljno informacija o korištenim podacima, relevantnom vremenskom razdoblju, čimbenicima rizika i njihovoj ulozi u konačnom ishodu kako bi mogao razumjeti odluku i, prema potrebi, smisleno je osporiti.
Ograničenja objašnjenja: poslovna tajna, prava trećih osoba i sprječavanje zlouporaba
U određenim slučajevima voditelj obrade može imati legitimne razloge zbog kojih ne može ispitaniku otkriti svaki tehnički detalj sustava. To se može odnositi na zaštitu poslovne tajne, prava intelektualnog vlasništva, prava drugih osoba ili sprječavanje zlouporabe sustava, primjerice zaobilaženja sustava za otkrivanje prijevara.
Međutim, ti razlozi ne opravdavaju potpuno uskraćivanje objašnjenja. Voditelj obrade mora objasniti ono što je moguće objasniti, navesti da je objašnjenje ograničeno i obrazložiti razlog ograničenja. Ispitanika treba uputiti i na mogućnost podnošenja pritužbe nadzornom tijelu odnosno korištenja sudske zaštite.
Drugim riječima, poslovna tajna ne može biti opći štit protiv transparentnosti. Voditelj obrade mora pronaći razumnu ravnotežu između zaštite svojih legitimnih interesa i prava ispitanika da razumije odluku koja ga pogađa i da je može učinkovito osporiti.
Umjetna inteligencija, objašnjivost i granice primjene složenih modela
Kod sustava umjetne inteligencije, osobito sustava strojnog učenja, objašnjenje odluke može biti zahtjevnije jer sustav ne slijedi uvijek unaprijed određena pravila. Takvi sustavi često pronalaze obrasce u velikim skupovima podataka, a ti obrasci mogu biti složeni, teško uočljivi i skriveni u velikom broju parametara.
Međutim, složenost sustava nije opravdanje za netransparentnost. Voditelj obrade mora već prije uvođenja sustava procijeniti može li objasniti odluke koje će se donositi na temelju njegova rezultata.
Agencija upozorava da razumljivost odluke ovisi i o izboru modela: neki su modeli sami po sebi razumljiviji, neke je moguće učiniti transparentnijima dodatnim tehnikama, dok su neki toliko netransparentni da ih je teško primjereno objasniti.
Nadalje, Agencija naglašava da sustav umjetne inteligencije koji se temelji na osobnim podacima mora biti razvijen, treniran i primijenjen s jasno određenom svrhom. Ta svrha mora biti određena unaprijed, već u fazi oblikovanja projekta, mora biti legitimna i razumljiva. Kod sustava umjetne inteligencije osobito je važno razlikovati fazu učenja odnosno razvoja modela od faze produkcijske uporabe iz razloga što te faze u pravilu imaju različite svrhe i različite rizike za ispitanike.
U tom smislu, voditelj obrade mora već pri razvoju ili nabavi sustava umjetne inteligencije razmotriti konačnu odluku koja će se donositi u produkciji i zakonitost podataka korištenih za treniranje, svrhu obrade, rokove čuvanja, smanjenje količine podataka, mogućnost ostvarivanja prava ispitanika i rizike od pristranosti, degradacije performansi ili nepredviđenih učinaka modela. Agencija posebno upozorava i na potrebu procjene količine i prirode podataka, dokumentiranja izvora i svojstava skupova podataka, redovite procjene rizika, zaštite sigurnosti te razdvajanja podataka korištenih u fazi učenja i fazi produkcijske uporabe.
Metode objašnjive umjetne inteligencije, poput prikaza važnosti značajki, SHAP-a, LIME-a ili kontrastivnih objašnjenja, mogu biti korisne. Predmetne metode mogu pomoći u prikazu čimbenika koji su najviše utjecali na ishod ili pokazati koje bi promjene u podacima mogle dovesti do drukčijeg rezultata. Međutim, takve metode same po sebi ne znače da je objašnjenje usklađeno s Općom uredbom o zaštiti podataka. Tehnički prikaz može biti dio objašnjenja, ali nije njegova zamjena. Objašnjenje mora biti prevedeno u razumljiv jezik i povezano s konkretnom odlukom, konkretnim podacima i konkretnim posljedicama za ispitanika.
Odnos između Opće uredbe o zaštiti podataka i Uredbe o umjetnoj inteligenciji
Uredba o umjetnoj inteligenciji ne zamjenjuje Opću uredbu o zaštiti podataka. Ako se sustav umjetne inteligencije koristi za obradu osobnih podataka ili ako se njegov rezultat koristi u postupku odlučivanja o pojedincu, voditelj obrade mora osigurati usklađenost s Općom uredbom o zaštiti podataka, neovisno o obvezama koje proizlaze iz propisa o umjetnoj inteligenciji.
Posebno je relevantan članak 14. Uredbe o umjetnoj inteligenciji, koji uređuje ljudski nadzor nad visokorizičnim sustavima umjetne inteligencije. Visokorizični sustavi moraju biti osmišljeni i razvijeni tako da ih tijekom uporabe mogu učinkovito nadzirati fizičke osobe, a cilj ljudskog nadzora je spriječiti ili smanjiti rizike za zdravlje, sigurnost i temeljna prava. Osobe kojima je povjeren ljudski nadzor moraju, primjereno okolnostima, moći razumjeti mogućnosti i ograničenja sustava, pratiti njegov rad, biti svjesne rizika automatizacijske pristranosti, pravilno tumačiti izlaz sustava te odlučiti da se izlaz ne koristi, da se zanemari, poništi ili preispita.
Taj zahtjev treba promatrati zajedno s člankom 22. Opće uredbe. Ljudski nadzor prema Uredbi o umjetnoj inteligenciji i pravo na ljudsku intervenciju prema članku 22. stavku 3. Opće uredbe nisu potpuno iste obveze, ali se u praksi međusobno nadopunjuju. Voditelj obrade koji koristi visokorizični sustav umjetne inteligencije u postupku odlučivanja o pojedincima mora osigurati da ljudski nadzor bude stvaran, učinkovit i dokumentiran, a ne samo formalno uključen u postupak.
Uredba o umjetnoj inteligenciji dodatno predviđa, u članku 86., pravo pogođene osobe na jasno i smisleno objašnjenje uloge visokorizičnog sustava umjetne inteligencije u postupku donošenja odluke i glavnih elemenata odluke, kada takva odluka proizvodi pravne učinke ili na sličan način značajno utječe na osobu u pogledu zdravlja, sigurnosti ili temeljnih prava.
Procjena učinka i odgovornost voditelja obrade
Prije uvođenja sustava koji uključuje sustavno i opsežno profiliranje ili automatizirano odlučivanje radi donošenja zaključaka koji u značajnoj mjeri utječu ili mogu utjecati na pojedinca odnosno više osoba, voditelj obrade obvezan je provesti procjenu učinka na zaštitu podataka u skladu s člankom 35. Opće uredbe i Odlukom Agencije o uspostavi i javnoj objavi popisa vrsta postupaka obrade koje podliježu zahtjevu za procjenu učinka na zaštitu podataka https://azop.hr/odluka-o-uspostavi-i-javnoj-objavi-popisa-vrsta-postupaka-obrade-koje-podlijezu-zahtjevu-za-procjenu-ucinka-na-zastitu-podataka/ .
Navedena obveza osobito obuhvaća obrade koje služe kao pomoć u donošenju odluka o pristupu određenoj usluzi, servisu ili pogodnosti, primjerice kada se obrađuju podaci koji se odnose na ekonomski ili financijski status, zdravlje, osobne preferencije, interese, pouzdanost, ponašanje, lokaciju ili kretanje pojedinca. Procjena učinka obvezna je i kod obrade posebnih kategorija osobnih podataka u svrhu profiliranja ili automatiziranog odlučivanja te kod obrade osobnih podataka djece u svrhu profiliranja ili automatiziranog odlučivanja.
U procjeni učinka potrebno je opisati svrhu sustava, vrste osobnih podataka koje se koriste, izvore podataka, pravnu osnovu obrade, ulogu automatiziranog rezultata u odlučivanju, moguće posljedice za ispitanike, rizike od netočnosti, diskriminacije, pristranosti i prekomjernog oslanjanja na sustav, kao i mjere kojima se ti rizici smanjuju. Posebno je važno dokumentirati način na koji će se osigurati objašnjenje odluke, stvarna ljudska intervencija i mogućnost osporavanja.
U okviru odgovornosti voditelja obrade potrebno je uspostaviti mehanizme za otkrivanje problema s kvalitetom podataka, pogrešaka, netočnosti i pristranosti sustava. To uključuje ručnu provjeru uzorka automatiziranih odluka, poduzimanje korektivnih mjera kao što su prilagodba pragova, ponovno treniranje ili ažuriranje modela, dodavanje dodatnih koraka ljudskog nadzora, utvrđivanje rokova čuvanja, odgovarajuće sigurnosne mjere te reviziju sustava strojnog učenja radi provjere dosljednosti i razloga odlučivanja.
Načelo zaštite podataka po dizajnu i po zadanim postavkama zahtijeva da se objašnjivost, ograničenje podataka, točnost, rokovi čuvanja, sigurnost, ljudski nadzor i ostvarivanje prava ispitanika planiraju već u fazi oblikovanja sustava. Ovaj pristup može se opisati kao explainability-by-design: organizacija ne bi trebala o objašnjenju razmišljati tek na kraju, nego već pri izboru modela, oblikovanju postupka i određivanju načina komunikacije s ispitanikom.
Djeca i ranjive skupine
Poseban oprez potreban je kada se automatizirano donošenje odluka ili profiliranje odnosi na djecu, starije osobe, osobe s invaliditetom, pacijente, radnike, kandidate za posao, korisnike socijalnih prava, potrošače u financijskim poteškoćama ili druge osobe koje se nalaze u ranjivom ili neravnopravnom položaju prema voditelju obrade.
Kod djece je potrebno imati u vidu da ista mogu biti manje svjesna rizika, posljedica i zaštitnih mjera povezanih s obradom osobnih podataka. Stoga bi se voditelji obrade, kao pravilo, trebali suzdržati od profiliranja djece u svrhe bihevioralnog oglašavanja, komercijalnog rangiranja, procjene ranjivosti ili poticanja ponašanja koje može negativno utjecati na dijete.
Agencija posebno ističe da djeca mogu biti manje sposobna razumjeti ili osporiti odluke te da obrada njihovih podataka radi utjecanja na izbore ili ponašanje zahtijeva procjenu učinka na dijete. Aktivnost obrade može imati značajan učinak na djecu i onda kada isti učinak ne bi bio značajan za odrasle osobe. Posebno se upozorava na bihevioralno profiliranje koje može stvoriti pretjerano poticanje, obrasce ovisnosti ili negativne učinke na mentalno zdravlje i dobrobit djeteta.
Ako se automatizirana odluka iznimno odnosi na dijete i može imati značajan učinak, zaštitne mjere moraju biti osobito snažne, a informacije prilagođene dobi, zrelosti i razumijevanju djeteta odnosno njegovih roditelja ili skrbnika.
Primjeri iz prakse
Automatizirano rangiranje kandidata u postupcima zapošljavanja
Sustavi za automatsko rangiranje kandidata za posao, odabir kandidata za intervju, analizu životopisa, motivacijskog pisma, video intervjua, psihometrijskih testova ili drugih oblika procjene mogu imati ozbiljne posljedice za pojedinca jer utječu na pristup zapošljavanju, profesionalnom razvoju i ekonomskim mogućnostima.
U postupcima zapošljavanja potrebno je razlikovati jednostavne administrativne provjere od sustava koji stvarno procjenjuju ili rangiraju kandidata. Primjerice, automatska provjera je li prijava predana u roku ili sadrži obvezne dokumente manje je rizična od sustava koji analizira ključne riječi u životopisu, procjenjuje osobnost kandidata, obrađuje video intervju, dodjeljuje rezultat bodovanja ili preporučuje tko će biti pozvan na razgovor. Što je automatizirani sustav bliži stvarnoj odluci o kandidatu, to su zahtjevi transparentnosti, ljudske intervencije, provjere pristranosti i mogućnosti osporavanja stroži.
Ako poslodavac koristi alat koji automatski analizira životopis, motivacijsko pismo, video intervju ili test i na temelju toga isključuje kandidata, kandidat mora znati da je korišten automatizirani sustav, koji su glavni kriteriji bili relevantni, je li provedena stvarna ljudska procjena i kako može osporiti ishod.
Algoritamsko upravljanje radnicima na digitalnim platformama
Digitalne platforme mogu koristiti algoritamske sustave za dodjelu narudžbi, smjena ili zadataka, izračun prihoda, rangiranje radnika ili deaktivaciju računa. Takve odluke mogu imati značajan učinak jer utječu na prihod i mogućnost daljnjeg rada putem platforme.
U tim slučajevima osobito je važno utvrditi postoji li stvarna ljudska uključenost ili se ljudska uloga svodi na potvrđivanje rezultata sustava. Ako platforma automatski smanjuje dostupnost zadataka, dodjeljuje nepovoljnije uvjete ili deaktivira račun, radnik mora imati mogućnost dobiti objašnjenje, iznijeti svoje stajalište i osporiti odluku.
U europskoj sudskoj praksi već postoje primjeri koji pokazuju rizike algoritamskog upravljanja radnicima na digitalnim platformama. U predmetima koji su se odnosili na vozače platformi Uber i Ola, pred nizozemskim sudovima razmatrana su pitanja pristupa osobnim podacima, transparentnosti algoritamskog odlučivanja, informacija o postojanju automatiziranog odlučivanja u smislu članka 22. Opće uredbe, kao i podataka poput ocjena rizika od prijevare, profila zarade i dodjele vožnji vozačima. U predmetu koji se odnosio na platformu Ola, Sud u Amsterdamu utvrdio je da informacije koje se daju ispitaniku moraju biti dovoljno potpune da osoba može razumjeti razloge odluke ili je osporiti.
Posebno je važna i praksa u kojoj su sudovi razmatrali može li se platforma pozvati na postojanje „čovjeka u petlji” ako je ljudski pregled u stvarnosti samo formalan. U predmetima protiv Ubera i Ole, žalbeni sud u Amsterdamu razmatrao je odluke donesene pomoću netransparentnih algoritamskih sustava koji su se odnosili na upravljanje, kažnjavanje i prestanak suradnje s vozačima. Sud je odbacio argument da sama formalna uključenost osoba koje navodno pregledavaju rezultate sustava uvijek znači stvarnu ljudsku uključenost, osobito ako je takav pregled u praksi tek simboličan.
Relevantan je i talijanski slučaj Deliveroo. Sud u Bologni odlučivao je o algoritmu koji je rangirao dostavljače prema njihovoj „pouzdanosti” i sudjelovanju te im na temelju toga omogućavao pristup poželjnijim terminima rada. Sustav je penalizirao radnike zbog nepojavljivanja na prethodno rezerviranim terminima, neovisno o razlogu izostanka, uključujući bolest ili štrajk, što je moglo dovesti do lošijeg rangiranja i manjeg pristupa radnim mogućnostima. Sud je utvrdio diskriminatorne učinke takvog algoritamskog sustava i naložio mjere za uklanjanje diskriminatornih posljedica, uključujući naknadu štete.
Ovi slučajevi pokazuju da algoritamsko upravljanje radnicima ne treba promatrati samo kroz prizmu učinkovitosti platforme. Sustavi koji dodjeljuju zadatke, rangiraju radnike, izračunavaju zaradu, ograničavaju pristup radu, označavaju radnika kao rizičnog ili dovode do deaktivacije računa mogu imati značajan učinak na prihode, radne mogućnosti i profesionalni položaj pojedinca. Stoga voditelj obrade mora osigurati jasne informacije o načinu rada sustava, stvarnu ljudsku uključenost, mogućnost osporavanja odluke, provjeru točnosti podataka te redovito testiranje diskriminatornih učinaka. Kod algoritamskog upravljanja radnicima nije dovoljno navesti da sustav samo „pomaže” u organizaciji rada. Ako automatizirani rezultat u praksi odlučuje o pristupu radu, zaradi, sankcijama, rangiranju ili deaktivaciji računa, potrebno je procijeniti primjenjuje li se članak 22. Opće uredbe i, neovisno o tome, osigurati usklađenost s načelima zakonitosti, poštenosti, transparentnosti, točnosti, nediskriminacije i pouzdanosti.
Automatizirano određivanje plaće radnika na temelju procjene produktivnosti
Ako se plaća radnika ili naknada za pojedinu smjenu određuje algoritamskim sustavom koji predviđa njegovu produktivnost, pri čemu sustav analizira podatke o radnom učinku i automatski određuje visinu plaće bez stvarne ljudske provjere ili mogućnosti prilagodbe ishoda, takva obrada može predstavljati isključivo automatizirano donošenje odluke.
Takva odluka može imati značajan učinak na radnika jer izravno utječe na njegov prihod, ekonomski položaj i uvjete rada. U takvom slučaju nije dovoljno tvrditi da sustav samo „pomaže” pri obračunu plaće ako u praksi upravo algoritamski rezultat određuje konačni iznos naknade. Primjerice, ako se plaća tvorničkog radnika za svaku smjenu automatski određuje na temelju algoritamske procjene njegove produktivnosti, bez stvarne ljudske uključenosti u provjeru ili prilagodbu ishoda, takva obrada može predstavljati isključivo automatizirano donošenje odluke sa značajnim učinkom na radnika.
Upozorenje radniku zbog zakašnjenja na temelju automatizirane evidencije dolazaka
Drukčija je situacija kada automatizirani sustav evidencije radnog vremena samo zabilježi ili označi da je radnik kasnio određeni broj puta, ali odluku o izdavanju upozorenja donosi ovlaštena osoba, primjerice neposredno nadređena osoba ili osoba nadležna za upravljanje ljudskim potencijalima, nakon stvarnog pregleda podataka i okolnosti konkretnog slučaja.
Ako ovlaštena osoba stvarno provjeri podatke, uzme u obzir moguće pogreške sustava, opravdane razloge zakašnjenja i posebne okolnosti slučaja te ima ovlast odlučiti da se upozorenje ne izda, tada postoji ljudska uključenost u postupku odlučivanja. U takvom slučaju automatizirani sustav služi kao izvor podataka ili upozorenja, ali ne donosi konačnu odluku umjesto čovjeka.
Ovaj primjer pokazuje da nije svaka odluka koja koristi podatke iz automatiziranog sustava ujedno odluka iz članka 22. Ključna je stvarna uloga čovjeka u donošenju odluke.
Automatizirano odbijanje zahtjeva za kredit
Ako banka ili drugi pružatelj financijske usluge koristi automatizirani sustav za procjenu kreditne sposobnosti i na temelju tog rezultata odbija zahtjev za kredit, takva obrada može ulaziti u područje primjene članka 22. Opće uredbe. Ispitaniku u tom slučaju nije dovoljno priopćiti da je zahtjev odbijen zbog „interne procjene rizika”. Potrebno je pružiti razumljivo objašnjenje o tome koji su podaci i čimbenici bili relevantni za odluku, primjerice prihodi, postojeće obveze, povijest plaćanja, iznos traženog kredita ili rezultat procjene kreditne sposobnosti.
Primjerice, u jednom slučaju muškarac je automatski odbijen za kredit, a nakon zahtjeva za objašnjenje utvrđeno je da bi kredit dobio da je bio žena ili da mu je švedski bio materinski jezik. Takav primjer jasno pokazuje zašto objašnjenje automatizirane odluke nije formalnost, nego važan alat za otkrivanje moguće diskriminacije, provjeru zakonitosti obrade i učinkovito osporavanje algoritamske odluke.
Automatizirano određivanje premije osiguranja
Osiguravajuće društvo može koristiti podatke o ponašanju vozača, primjerice podatke o brzini, naglom kočenju, ubrzanju, vremenu vožnje ili prijeđenim rutama, radi izračuna premije osiguranja. Ako takva odluka značajno utječe na financijski položaj osobe ili uvjete ugovora, potrebno je ispitati primjenjuje li se članak 22. U takvom slučaju nije dovoljno navesti da „odluka može utjecati na osiguranje”. Primjerenije je jasno objasniti, primjerice, da se na temelju ponašanja u vožnji premija može povećati ili smanjiti.
Automatsko blokiranje ili deaktivacija korisničkog računa
Digitalne platforme, društvene mreže, aplikacije za prijevoz, oglasnici i druge online usluge često koriste automatizirane sustave za otkrivanje prijevara, zlouporaba ili kršenja uvjeta korištenja. Ako takav sustav automatski blokira, suspendira ili trajno deaktivira korisnički račun, odluka može imati značajan učinak na korisnika, osobito ako račun koristi za rad, poslovanje, pristup prihodima ili komunikaciju. Pozivanje na sprječavanje prijevara ne smije dovesti do potpune netransparentnosti. Voditelj obrade ne mora nužno otkriti sve tehničke detalje sustava za sprječavanje prijevara, ali mora pružiti dovoljno informacija da korisnik može razumjeti što je bio razlog odluke, koji su podaci korišteni, je li provedena ljudska provjera i kako može osporiti ishod.
Automatizirana selekcija kod dodjele stanova ili drugih važnih usluga
Algoritamski sustavi mogu se koristiti i za selekciju ili rangiranje osoba koje traže pristup važnim uslugama, primjerice stanovanju, socijalnim pravima ili drugim oblicima javne ili privatne pomoći. Takvi sustavi mogu biti manje vidljivi ispitanicima od sustava u financijskom sektoru ili online oglašavanju, a posljedice mogu biti značajne.
Primjerice, osoba koja se prijavljuje za socijalni stan može redovito reagirati na oglase i ispunjavati tražene podatke, ali nikada ne biti pozvana na razgledavanje, dok drugi kandidati u usporedivoj situaciji dobivaju pozive. Ako se naknadno utvrdi da se kandidati razvrstavaju automatiziranim sustavom na temelju njihovih osobnih podataka, a pogreška u obradi prihoda ili drugog relevantnog podatka dovodi do toga da osoba bude stalno isključena iz prve selekcije, takav primjer pokazuje koliko su važni pravo na pristup, pravo na ispravak i pravo na objašnjenje automatizirane obrade.
Ako se odluka ili predselekcija temelji na pogrešnom podatku ili netočnom izvedenom zaključku, ispitanik mora imati mogućnost saznati koji je podatak korišten, zašto je doveo do nepovoljnog ishoda i kako se pogreška može ispraviti.
Algoritamsko rangiranje u obrazovanju i upisu na studij
Automatizirani sustavi mogu se koristiti u obrazovanju, primjerice za rangiranje kandidata, predselekciju prijava, dodjelu mjesta u obrazovnim programima, procjenu ispunjavanja uvjeta za upis ili raspoređivanje kandidata na određena učilišta odnosno programe. Takvi sustavi mogu imati značajan učinak na pojedinca jer mogu utjecati na pristup obrazovanju, profesionalni razvoj i buduće životne mogućnosti.
Primjerice, obrazovna ustanova može koristiti algoritamski sustav koji na temelju prethodnog uspjeha, rezultata ispita, dodatnih aktivnosti, mjesta prebivališta, prioriteta kandidata ili drugih kriterija automatski rangira kandidate za upis. Ako kandidatu nije jasno da se koristi automatizirani sustav, koji su podaci uzeti u obzir, kako su kriteriji vrednovani i kako je sustav utjecao na konačni rezultat, on ne može učinkovito provjeriti točnost obrade niti osporiti odluku.
Kod obrazovanja je zato osobito važno da kriteriji rangiranja budu jasni, provjerljivi i unaprijed objašnjeni. Kandidat mora moći razumjeti koji su podaci i kriteriji korišteni, kako su utjecali na rezultat, postoji li stvarno ljudsko preispitivanje i kako može osporiti odluku ako smatra da je pogrešna, netočna, nerazmjerna ili diskriminatorna.
Personalizirano povećanje kreditnog limita na temelju profiliranja
Banka može koristiti profiliranje klijenata kako bi im ponudila personalizirane financijske proizvode, primjerice viši kreditni limit na kreditnoj kartici. Ako sustav analizira navike potrošnje, povijest otplate i druge relevantne podatke te na temelju takve analize u stvarnom vremenu automatski odlučuje hoće li klijentu ponuditi viši kreditni limit, riječ je o odluci koja se temelji na profiliranju.
Ako takvu odluku nitko ne preispituje prije nego što proizvede učinak za klijenta, već se ljudska provjera provodi tek naknadno, primjerice ako klijent podnese prigovor ili zatraži dodatno objašnjenje, odluka u pravilu nema stvarnu ljudsku uključenost u trenutku donošenja. U tom slučaju nije odlučno to što klijent kasnije može kontaktirati banku, nego je ključno je li prije donošenja odluke postojala stvarna mogućnost ljudske procjene, provjere i promjene ishoda.
Takva odluka može imati značajan učinak ako utječe na financijski položaj osobe, njezinu izloženost zaduženju, dostupnost financijskih proizvoda ili uvjete pod kojima koristi kreditnu karticu. Stoga bi banka u takvom slučaju trebala procijeniti primjenjuje li se članak 22. Opće uredbe o zaštiti podataka, osigurati jasne informacije o korištenom profiliranju i omogućiti klijentu učinkovito osporavanje odluke te stvarno ljudsko preispitivanje.
Profiliranje djece u online igri radi produljenja vremena igranja
Online igra namijenjena djeci koristi različite strategije kako bi povećala angažman korisnika i ostvarila prihod. Jedna od tih strategija uključuje sustav koji tijekom igranja profilira djecu, prati njihovo ponašanje, obrasce igre, reakcije na nagrade i način na koji koriste pojedine funkcionalnosti. Na temelju takvog profiliranja sustav djetetu prikazuje personalizirane pogodnosti unutar igre, posebne prednosti, vremenski ograničene ponude ili druge poticaje koji ga navode da ostane dulje u igri i nastavi igrati.
Takva obrada nije usmjerena na to da se djetetu omogući svjestan i slobodan izbor o tome želi li nastaviti igrati, nego na automatsko produljenje njegova angažmana. Ako sustav iskorištava obrasce ponašanja djeteta kako bi ga potaknuo na dulje igranje, primjerice stvaranjem osjećaja propuštanja, natjecateljskog pritiska ili dojma da će dijete biti u nepovoljnijem položaju ako igra kraće ili rjeđe, potrebno je pažljivo procijeniti proizvodi li takva obrada sličan značajan učinak u smislu članka 22. Opće uredbe, osobito imajući u vidu dob, ranjivost i ograničenu sposobnost djece da razumiju komercijalnu i manipulativnu svrhu takvog oblikovanja korisničkog iskustva. Čak i ako se zaključi da članak 22. nije primjenjiv u konkretnom slučaju, takva obrada i dalje mora biti u skladu s načelima poštenosti, transparentnosti, smanjenja količine podataka, tehničke i integrirane zaštite podataka te posebne zaštite djece.
Automatizirane preporuke sadržaja na video platformama
Usluga videa na zahtjev može koristiti automatizirani sustav preporuka koji osobi predlaže nove filmove, serije ili drugi sadržaj na temelju njezinih prethodnih navika gledanja. Takav sustav u pravilu koristi profiliranje i algoritamsku analizu, primjerice podatke o tome koji je sadržaj osoba gledala, koliko dugo ga je gledala, koje je žanrove najčešće birala ili koje je preporuke ranije prihvatila.
Odabir sadržaja koji će se preporučiti korisniku može predstavljati odluku koja se temelji isključivo na automatiziranoj obradi jer u pravilu nema stvarne ljudske uključenosti u pojedinačni izbor preporuke. Međutim, takva odluka u uobičajenim okolnostima neće nužno proizvoditi pravne učinke niti će na osobu na sličan način značajno utjecati. Iako preporuka može utjecati na to što će osoba sljedeće gledati, taj utjecaj u pravilu nije iste razine kao odluka koja utječe na pristup kreditu, posao, plaću, obrazovanje, socijalno pravo, osiguranje ili drugu važnu životnu mogućnost.
Ovaj primjer pokazuje da se članak 22. Opće uredbe ne primjenjuje na svaku automatiziranu personalizaciju ili svaku algoritamsku preporuku. Potrebno je uvijek procijeniti stvarni učinak odluke na pojedinca, a ne samo činjenicu da je korišten algoritam ili profiliranje.
Algoritamsko profiliranje u javnom sektoru: slučajevi SyRI i Toeslagenaffaire
Posebnu pozornost potrebno je posvetiti uporabi algoritamskih sustava i sustava za procjenu rizika u javnom sektoru, osobito kada se takvi sustavi koriste za otkrivanje prijevara, dodjelu socijalnih prava, porezne postupke, nadzor korisnika javnih usluga ili druge obrade koje mogu imati značajan učinak na pojedince i njihove obitelji.
Jedan od najpoznatijih europskih primjera je nizozemski sustav SyRI (System Risk Indication), koji se koristio za otkrivanje rizika od prijevara u području socijalne skrbi, poreza i rada. Okružni sud u Haagu zaključio je da pravni okvir za SyRI nije bio u skladu s člankom 8. Europske konvencije za zaštitu ljudskih prava i temeljnih sloboda, odnosno pravom na poštovanje privatnog života, osobito zbog nedostatne transparentnosti, opsežnog povezivanja podataka i nedovoljnih zaštitnih mjera za građane. Sud je naglasio potrebu pravedne ravnoteže između javnog interesa za sprječavanje prijevara i ozbiljnog zadiranja u privatni život osoba koje mogu biti obuhvaćene takvim sustavom.
U nizozemskom kontekstu posebno je važan i slučaj Toeslagenaffaire, povezan s postupanjima porezne uprave u području naknada za skrb o djeci. Nizozemsko nadzorno tijelo Autoriteit Persoonsgegevens izreklo je poreznoj upravi kaznu od 2,75 milijuna eura zbog toga što je godinama nezakonito, diskriminatorno i nepošteno obrađivala podatke o dvojnom državljanstvu podnositelja zahtjeva za naknade za skrb o djeci.
Ovi primjeri pokazuju da rizici algoritamske obrade u javnom sektoru ne proizlaze samo iz tehničke netočnosti modela, nego i iz izbora podataka, kriterija i organizacijskog konteksta u kojem se sustav koristi. Ako se sustav temelji na netočnim, nepotpunim, nerelevantnim ili diskriminatornim podacima, ili ako se rizik od prijevare pripisuje osobama na temelju obilježja koja nisu nužna i razmjerna svrsi obrade, posljedice mogu biti osobito ozbiljne: gubitak prava, financijski teret, stigmatizacija, dugotrajni postupci dokazivanja nevinosti i gubitak povjerenja u javne institucije.
Agencija naglašava da u javnom sektoru algoritamsko profiliranje i sustavi procjene rizika zahtijevaju jasnu pravnu osnovu, strogu procjenu nužnosti i razmjernosti, transparentnost prema građanima, provjeru kvalitete i relevantnosti podataka, testiranje diskriminatornih učinaka, stvarnu ljudsku provjeru i učinkovit pravni lijek. Sustavi koji građane označavaju kao rizične, sumnjive ili nepouzdane ne smiju biti netransparentni niti se smiju temeljiti na kriterijima koji mogu dovesti do nepoštenog ili diskriminatornog postupanja.
Zaključno Agencija ističe da voditelji obrade koji koriste algoritamske sustave, sustave umjetne inteligencije ili druge oblike automatizirane obrade moraju prije njihove uporabe jasno utvrditi stvarnu ulogu takvih sustava u donošenju odluka o pojedincima. Nije dovoljno sustav opisati kao pomoćni alat, preporuku ili tehničku podršku ako njegov rezultat u praksi odlučujuće utječe na ishod za ispitanika.
Voditelj obrade mora moći dokazati zakonitost, nužnost i razmjernost takve obrade, procijeniti primjenjuje li se članak 22. Opće uredbe te provesti procjenu učinka na zaštitu podataka. Posebno je važno osigurati da ispitanik dobije jasne, konkretne i razumljive informacije o automatiziranom odlučivanju, uključujući razloge odluke, korištene podatke, glavne čimbenike koji su utjecali na ishod i način na koji odluku može osporiti.
Ljudska uključenost i ljudska intervencija ne smiju biti samo formalne. Osoba koja preispituje odluku mora imati stvarnu mogućnost razumjeti rezultat sustava, uzeti u obzir okolnosti konkretnog slučaja i promijeniti ili poništiti ishod. Sustavi koji se ne mogu objasniti, nadzirati, provjeriti ili ispraviti nisu prikladni za donošenje odluka koje za pojedince imaju pravne ili slične značajne posljedice.
Automatizirano odlučivanje i uporaba umjetne inteligencije mogu pridonijeti učinkovitosti i dosljednosti postupanja, ali ne smiju dovesti do toga da pojedinac bude sveden na neprovjerljivu ocjenu rizika, rezultat bodovanja, profil ili kategoriju. Članak 22. Opće uredbe stoga treba promatrati kao važan zaštitni mehanizam u digitalnom i algoritamskom okruženju, čija je svrha osigurati da tehnološki razvoj ostane u službi čovjeka, uz očuvanje ljudskog dostojanstva, autonomije, jednakog postupanja, transparentnosti i učinkovite pravne zaštite.
