Automatizovana procjena boniteta: ljudska kontrola i pravni lijek

Automatizovana procjena boniteta može odlučiti o kreditu, osiguranju ili prijemu kandidata za posao. Ako se odluka zasniva isključivo na automatizovanoj obradi i ima pravno ili slično značajno dejstvo, primjenjuje se član 22. GDPR-a. Tada treba posebno pažljivo provjeriti izuzetak, informacije i zaštitu kroz ljudsku kontrolu.

Ovaj članak objašnjava kako prepoznati odluku prema članu 22. GDPR-a, kako razlikovati skor ili profil od konačne odluke i kako omogućiti stvarnu ljudsku provjeru i osporavanje. Softver koji samo razvrstava informacije za kasniju odluku čovjeka nije automatski odluka prema članu 22. Odlučujući je stvarni postupak.

Član 22. stav 1. GDPR-a štiti ispitanike od odluke koja se zasniva isključivo na automatizovanoj obradi, uključujući profilisanje, i proizvodi pravno dejstvo ili ih na sličan način značajno pogađa. Procjena zato ne zavisi od toga da li preduzeće sistem naziva vještačkom inteligencijom, skor-kartom ili skupom pravila. Važni su stvarni koraci obrade i dejstvo konačne odluke.

Automatizovano odbijanje zahtjeva za kredit, odbijanje osiguranja ili potpuno isključenje iz postupka zapošljavanja mogu dostići potreban značaj. To ne važi za svako interno razvrstavanje. Ako se skor koristi samo kao pokazatelj, a osoba zatim samostalno odlučuje, ljudski doprinos mora stvarno moći uticati na rezultat.

Preduzeće treba prikazati postupak od prijema podataka do obavijesti o odluci. Zabilježite izvore podataka, karakteristike, pragove, izuzetke, osobu ovlaštenu za odluku i konkretnu posljedicu. Pojmovnik o automatizovanom odlučivanju objašnjava osnovne pojmove. Definicija profilisanja pomaže pri početnom razdvajanju.

Skor boniteta može nastati iz istorije plaćanja, javno dostupnih informacija, podataka iz zahtjeva ili drugih izvora. Samo stvaranje profila nije automatski odluka prema članu 22. GDPR-a. Ključno je da li rezultat bez smislene ljudske provjere pokreće odluku o osobi.

Dejstvo treba procijeniti u stvarnom životnom području osobe. Negativan skor može uticati na finansiranje stanovanja, pristup osiguranju ili izbor kandidata za posao. I odluka koja se formalno opisuje samo kao odbijanje može imati velike ekonomske posljedice. Opšta tvrdnja o tehničkoj tačnosti modela ne daje odgovor na pravno pitanje.

Preduzeće treba odvojeno opisati odluku i njene posljedice. Koja radnja se automatski pokreće? Koje alternative ostaju? Da li bi osoba mogla drugačije odlučiti u istom slučaju? Koje informacije dobija ispitanik? Tako se vidi da li softver samo pomaže ili faktički određuje odluku.

Član 22. stav 2. GDPR-a navodi tri izuzetka. Odluka može biti neophodna za zaključenje ili izvršenje ugovora, izričito dopuštena pravom Evropske unije ili države članice ili zasnovana na izričitoj saglasnosti osobe. Izabrani izuzetak mora odgovarati konkretnoj odluci. Praktičnost ili opšti poziv na efikasnost nisu dovoljni.

Za ugovornu neophodnost i izričitu saglasnost član 22. stav 3. GDPR-a traži odgovarajuće mjere za zaštitu prava i sloboda. Najmanje treba omogućiti ljudsku intervenciju, iznošenje vlastitog mišljenja i osporavanje odluke. Preduzeće zato treba odrediti odgovornu osobu koja može stvarno ponovo procijeniti slučaj sa potrebnim informacijama.

Član 22. stav 4. GDPR-a ograničava odluke zasnovane na posebnim kategorijama ličnih podataka iz člana 9. stav 1. GDPR-a. Takva odluka u pravilu nije dopuštena, osim pod dodatnim uslovima iz te odredbe i uz odgovarajuće zaštitne mjere. U praksi prije korištenja treba provjeriti izvor podataka, izbor obilježja i moguće zamjenske pokazatelje.

Članovi 13. i 14. GDPR-a u predviđenim situacijama traže informaciju o postojanju automatizovanog odlučivanja, uključujući profilisanje. U relevantnim slučajevima ispitanik treba dobiti i smislene informacije o uključenoj logici, značaju i predviđenim posljedicama obrade. Čisto tehnički opis modela nije dovoljan ako osoba ne može razumjeti šta odluka znači.

Ako skor koristi podatke koji nisu prikupljeni neposredno od osobe, treba uzeti u obzir i dostupne informacije o njihovom izvoru. Član 15. GDPR-a dopunjuje ova prava pravom pristupa i izričito navodi automatizovano odlučivanje i profilisanje. Odgovor zato treba jasno objasniti obradu i njene posljedice, bez korištenja poslovne tajne kao opšteg razloga za uskraćivanje pristupa.

U praksi informacije treba vezati za odluku. Koje kategorije podataka su uzete u obzir? Kakvu ulogu je imao skor? Koja odluka je uslijedila? Kakve posljedice ima? Kako osoba može zatražiti ljudsku provjeru? Tema prava ispitanika i pristupa objašnjava opšti okvir. Za konkretnu kopiju podataka pomaže članak o zahtjevu za pristup prema članu 15. GDPR-a.

Ljudska provjera ne postoji samo zato što zaposleni na kraju klikne dugme za potvrdu. Osoba mora dobiti relevantne informacije, samostalno procijeniti slučaj i moći promijeniti odluku. Ko može samo potvrditi tehnički rezultat, ne smije tražiti dodatne podatke ili je upućen da nikada ne odstupa od skora, ne vrši smislenu provjeru.

Put za osporavanje treba objasniti jasno. Ispitanik treba znati kome se obraća, koje informacije mogu pomoći pri provjeri i kada može očekivati odgovor. Podnesak ne treba odbiti samo zato što je tehnička poruka o grešci nejasna. Provjeru i njen rezultat treba zapisati kako bi odluka kasnije ostala razumljiva.

Preduzeću koristi poseban postupak za automatizovane odluke: osigurati prigovor, identitet provjeriti samo kada je potrebno, prikupiti podatke i dokumente odluke, izvršiti nezavisnu ljudsku provjeru i jasno saopštiti rezultat. Provjera treba pokazati da li su rezultat uzrokovali greška u podacima, neprikladno obilježje ili pogrešna dodjela.

Radi dokazivanja odgovornosti preduzeće treba zapisati koja je odluka automatizovana, koji se izvori i obilježja koriste, na koji se izuzetak iz člana 22. stav 2. GDPR-a oslanja i koje zaštitne mjere postoje. Zapis treba obuhvatiti i informacije za ispitanike, put za ljudsku provjeru, odgovornost za prigovore i čuvanje relevantnog zapisa odluke.

Česta greška je da se skor izjednači sa odlukom, a da se ne provjeri stvarni ljudski korak. Slabost je i opšta obavijest o privatnosti koja ne objašnjava značaj procjene ni način osporavanja. Problem može nastati i između preduzeća i spoljnog pružaoca modela. Ko koristi eksterni model mora dovoljno razumjeti izvore, ažurnost i logiku kako bi procijenio vlastitu obradu.

Prije izmjene modela treba provjeriti da li su se promijenili podaci, grupe, pragovi ili posljedice. Tema usklađenosti i upravljanja privatnošću pomaže pri organizaciji odgovornosti i dokaza. Jasan trag provjere posebno je važan kada automatizovane odluke na isti način utiču na veliki broj osoba.

Možemo sa vama provjeriti postupak odlučivanja, izvore podataka, izuzetak prema članu 22. GDPR-a, informacije i put za ljudsku provjeru. Pošaljite nam prikaz postupka, kriterijume procjene, obavijesti i primjer odluke kako bi se dejstvo i koristan naredni korak mogli uredno procijeniti.