Voyager Labs među desecima je američkih kompanija koje su se posljednjih godina pojavile s tehnologijom koja navodno koristi društvene medije za pomoć u rješavanju i predviđanju zločina.

Izvlačeći informacije iz svakog dijela različitih profila pojedinca na društvenim mrežama, Voyager pomaže policiji istraživati i nadzirati ljude rekonstruirajući njihov cijeli digitalni život – javni i privatni. Oslanjajući se na umjetnu inteligenciju, tvrdi kompanija, njezin softver može dešifrirati značenje ljudskog ponašanja na internetu te odrediti jesu li subjekti već počinili zločin, mogu li počiniti zločin ili se pridržavaju određenih ideologija.

No, novi dokumenti, koje je neprofitna organizacija Brennan Center prikupila putem zahtjeva za javnim informacijama, a podijelila ih s Guardianom, pokazuju da pretpostavke na koje se softver oslanja za donošenje tih zaključaka mogu biti u suprotnosti sa zaštitom prava i sloboda zagarantiranih Prvim amandmanom američkog Ustava. U jednom slučaju, Voyager je naveo da smatra da su korištenje imena na Instagramu koje iskazuju arapski ponos ili tvitanje o islamu znakovi potencijalne sklonosti ekstremizmu.

Dokumenti otkrivaju i to da Voyager promiče niz etički upitnih strategija za pristup korisničkim informacijama, uključujući omogućavanje policiji da koristi lažne osobe za pristup grupama ili privatnim profilima na društvenim mrežama.

No stručnjaci kažu da su Voyagerovi proizvodi simbol šireg ekosistema tehnoloških igrača koji odgovaraju na zahtjeve policije za naprednim alatima za proširenje policijskih sposobnosti. Za policiju je privlačnost takvih alata jasna: koristiti tehnologiju za automatsko i vrlo brzo uočavanje veza za koje bi policajcima moglo biti potrebno mnogo duže da ih otkriju, ili za otkrivanje neprimjećenog ponašanja ili tragova koje čovjek možda neće razumjeti zbog nedostatka sofisticiranosti ili kapaciteta. Uz golem pritisak na policijske odjele da zadrže nisku stopu kriminala i spriječe napade, korištenje tehnologije za donošenje brzih i efikasnih odluka za provedbu zakona privlačno je rješenje. Postojeći dokumenti pokazuju da je, naprimjer, LAPD (Los Angeles Police Department) radio ili razmatrao saradnju s kompanijama kao što su PredPol, MediaSonar, Geofeedia, Dataminr, a sada i Voyager.

No, policija informirana na društvenim mrežama može biti noćna mora u pogledu povreda privatnosti, kažu stručnjaci koji su pregledali dokumente za Guardian.

Kao što je Guardian ranije izvijestio, policijske uprave često nisu spremne odustati od upotrebe tih alata čak ni kada su suočeni s negodovanjem javnosti i unatoč malo dokaza da to pomaže u smanjenju kriminala.

Stručnjaci također ističu da kompanije poput Voyagera često koriste riječi kao što su "umjetna inteligencija" i "algoritmi" da objasne kako analiziraju i obrađuju informacije, ali daju malo dokaza o tome da to funkcionira.

Glasnogovornik Voyagera, Lital Carter Rosenne, rekao je da je softver ove kompanije korišten od širokog spektra klijenata kako bi omogućio pretraživanje po bazama podataka, ali je rekao da Voyager nije sam izgradio te baze podataka niti je opskrbio osoblje Voyagera za pokretanje njegovog softvera.

"Ovo su odgovornosti i odluke naših klijenata, u koje Voyager uopće nije uključen", rekao je Rosenne u e-poruci.

“Kao kompanija slijedimo zakone svih zemalja u kojima poslujemo. Također, imamo povjerenje da su oni s kojima poslujemo javne i privatne organizacije koje poštuju zakon.”

"Voyager je softverska kompanija", rekao je Rosenne odgovarajući na pitanja o tome kako tehnologija funkcionira. "Naši proizvodi su tražilice i motori za analizu koji koriste umjetnu inteligenciju i mašinsko učenje uz mogućnost objašnjenja."

Voyager nije odgovorio na detaljna pitanja o tome s kim ima ugovore ili kako njegov softver donosi zaključke o potpori neke osobe određenim ideologijama.

LAPD je odbio odgovoriti na zahtjev za komentar.

Način na koji Voyager i kompanije poput ove rade nije kompliciran, pokazuju dokumenti. Voyagerov softver prikuplja sve javne informacije dostupne o osobi ili temi – uključujući postove, veze, pa čak i emotikone – analizira ih i indeksira, a zatim ih, u nekim slučajevima, uspoređuje s informacijama koje nisu javne.

Interni dokumenti pokazuju da tehnologija stvara topografiju cjelokupnog postojanja osobe na društvenim mrežama, posebno gledajući postove korisnika, kao i njihove veze, te koliko je svaki od tih odnosa jak. Softver vizualizira kako su nečije izravne veze međusobno povezane, gdje sve te veze funkcioniraju a prati i “neizravne veze” (ljudi s najmanje četiri zajednička prijatelja). Voyager otkriva sve neizravne veze između subjekta i drugih ljudi koje je korisnik prethodno tražio.

Voyagerovo prikupljanje podataka je dalekosežno. Ako osoba koju prati Voyager softver izbriše prijatelja ili objavu s vlastitog profila, ona ostaje arhivirana u njezinom Voyager profilu. Sisem katalogizira ne samo kontakte subjekta već i sav sadržaj ili medije koje su ti kontakti objavili, uključujući ažuriranja statusa, slike i geooznake. I privlači prijateljstva drugog i trećeg stepena kako bi se “otkrili prethodno nepoznati posrednici ili slučajevi neprikladne povezanosti”.

Meredith Broussard, profesorica podatkovnog novinarstva na Sveučilištu New York i autorica knjige Umjetna neinteligencija: Kako računala krivo razumiju svijet, rekla je kako se čini da Voyagerovi algoritmi procjenjuju ljude na temelju njihovih mrežnih aktivnosti koristeći proces koji je nalik ciljanju internetskih oglasa.

Sistemi za ciljanje oglasa stavljaju ljude u "skupine afiniteta", određujući ko će najvjerojatnije biti zainteresiran za kupovinu novog automobila, naprimjer, na temelju njihovih prijatelja i veza. Broussard objašnjava: "Dakle, umjesto grupiranja ljudi u skupine poput 'vlasnika kućnih ljubimaca'. Čini se da Voyager stavlja ljude u 'kante' vjerojatnih kriminalaca.” U kontekstu oglašavanja, mnogi su potrošači prihvatili ovakvu vrstu ciljanja, rekla je ona, ali ulozi su mnogo veći kada je riječ o policiji.

“To je sistem 'krivnje po asocijaciji'”, rekla je, dodajući da ovakav algoritam nije posebno sofisticiran.

Voyagerov softver primjenjuje sličan proces na Facebook grupe, stranice i događaje – javne i zatvorene – katalogizirajući nedavno objavljen sadržaj i mapirajući najaktivnije korisnike. Dokumenti pokazuju da kompanija omogućuje korisnicima i pretraživanje postova o određenim temama, izvlačeći sva spominjanja tog pojma, kao i lokaciju označenu u tim objavama.

Kompanija tvrdi da sve te informacije o pojedincima, grupama i stranicama omogućuju njenom softveru da provodi "analizu osjećaja" u stvarnom vremenu i pronalazi nove tragove kada istražuje "ideološku solidarnost". U prijedlozima LAPD-u, kompanija je tvrdila da je njezina platforma umjetne inteligencije bez premca u svojoj sposobnosti analiziranja "pokazatelja ljudskog ponašanja". Voyager tvrdi da njegova umjetna inteligencija može pružiti uvide kao što je "društveno boravište" pojedinca ili grupe, može otkriti skrivene odnose i može izvesti "analizu osjećaja" kako bi utvrdila gdje neko ideološki stoji o raznim temama, uključujući ekstremizam.

"Ne povezujemo samo postojeće tačke", stoji u promotivnom dokumentu Voyagera. “Stvaramo nove tačke. Ono što se čini kao nasumična i nebitna interakcija, ponašanje ili interes, odjednom postaje jasno i razumljivo.”

Kompanija kaže da sistem uzima u obzir osobnu uključenost, emocionalnu uključenost, znanje i pozive na akciju. Za razliku od drugih kompanija, Voyager tvrdi da mu nije potrebno dodatno vrijeme za proučavanje i obradu ponašanja na mreži te umjesto toga može donijeti ovu vrstu prosuđivanja "u hodu".

“Ova sposobnost pomiče raspravu s onih koji su najviše angažirani na internetu do onih koji su najviše angažirani u svom srcu”, piše u dokumentima.

U jednoj redigiranoj “studiji slučaja”, koju je Voyager predstavio LAPD-u kada su sklapali ugovor, kompanija je ispitala načine na koje bi analizirala profil na društvenim mrežama Adama Alsahlija, ubijenog prošle godine dok je pokušavao napasti Corpus Christi, pomorsku baza u Teksasu.

Kompanija je napisala da je njezin softver koristio umjetnu inteligenciju kako bi ispitao jesu li subjekti povezani s islamskim fundamentalizmom, a bojom su te profile označili zelenom, narančastom ili crvenom (narančasta i crvena naizgled ukazuju na sklonost ekstremizmu). “Ovo pruža indikaciju za daljnju provjeru ili istragu, prije nego što se incident dogodi, kao dio napora da se postavi 'linija otpora' za ukazivanje na nove prijetnje", napisala je kompanija.

U Alsahlijevom slučaju, tvrdi Voyager, tvrtka je zaključila da njegova aktivnost na društvenim mrežama odražava “islamski fundamentalizam i ekstremizam” i sugerira da bi istražitelji mogli dodatno pregledati Alsahlijeve račune kako bi “odredili snagu i prirodu njegovih izravnih i neizravnih veza s drugim osobama od interesa”.

Ali dokumenti pokazuju da se mnogi aspekti onoga što je Voyager istaknuo kao signale fundamentalizma također mogu kvalificirati kao sloboda govora ili kao druge zaštićene aktivnosti. Voyager je, naprimjer, rekao da su 29 od 31 Alsahlijeve objave na Facebooku bile slike s islamskom tematikom i da jedan od Alsahlijevih korisničkih računa na Instagramu, koji je redigiran u dokumentima, odražava "njegov ponos i identifikaciju s njegovim arapskim naslijeđem".

Kada je pregledao popis računa koje je pratio i ko ga je sve pratio, Voyager je rekao da je “većina na arapskom” – jednom od 100 jezika za koje je kompanija rekla da ih može automatski prevesti – i da se “općenito čini” kao račun koji objavljuju vjerski sadržaj. Na svom Twitter računu, napisao je Voyager, Alsahli je uglavnom twitao o islamu.

Dokumenti su također upućivali na Alsahlijeve veze, pišući da su tri korisnika Facebooka s kojima je podijelio objave "mogla imati druge interakcije s njim izvan društvenih medija ili su se povezivali u istim islamističkim krugovima i forumima". Dijelovi dokumenata su redigirani. Međutim, jedino vidljivo spominjanje sadržaja koji se može smatrati eksplicitnim vezivanjem Alsahlija s fundamentalizmom sastoji se od tweetova koje je objavio u znak podrške mudžahedinima.

Julie Mao, zamjenica direktora Just Futures, pravne grupe za podršku imigrantima, rekla je da je zabrinuta zbog algoritma rizika označenog bojama i da je Voyagerov izbor da prouči ovaj konkretni slučaj pokazao potencijalnu pristranost.

"Uvijek je lako unatrag odabrati nekoga ko je bio nasilan i reći 'hej, tehnologija radi na temelju takvih'", rekla je Mao. “Nevjerojatno je nejasno kako je Voyager došao do ove razine prijetnje (je li to bilo nešto više od izražavanja vjerske odanosti?) i koliko pojedinaca prima slične razine prijetnje na temelju bezazlenog ponašanja. Dakle, čak i prema vlastitoj logici, to je pogrešan primjer tačnosti i može dovesti do pretjeranog nadzora policije i uznemiravanja.”

To je "u osnovi alat za zaustavljanje i pretres", rekla je Mao.

Voyagerove tvrdnje da je koristio “najmodernije tehnologije temeljene na AI” kao što su “mašinsko učenje”, “kognitivno računanje” i “kombinatorni i statistički algoritmi” zapravo su bile samo “salata od riječi”, rekla je Cathy O'Neil, podatkovni znanstvenik i izvršni direktor Orcae, kompanija koja revidira algoritme. “Kažu: 'Mi koristimo veliku matematiku.' To ustvari ne govori ništa o tome što rade.”

Zapravo, rekla je O'Neil, kompanije poput Voyagera općenito su ponudile malo dokaza  da njihovi algoritmi imaju sposobnosti za koje tvrde. A često, rekla je, policijske uprave nisu zahtijevale niti tražile takve podatke, a kompanija ne bi mogle pružiti dokaze da su zatražene – jer su njihove tvrdnje često hiperbolične i neutemeljene.

Problem s ovom vrstom marketinga, dodao je O'Neil, bio je u tome što bi mogao pružiti pokriće za pristrane policijske prakse: "Ako uspješno navedu ljude da vjeruju svom algoritmu, bez dokaza da on radi, onda se to može smatrati oružjem."

Melina Abdullah, suosnivačica pokreta Black Lives Matter LA, rekla je da je uznemirena saznanjem o zaključcima koje je Voyagerov softver napravio o internetskim aktivnostima muslimanskih korisnika.

“Kao crna muslimanka, zabrinuta sam. Uvijek znam da me moje prezime označava drugačijom, da me se pomno promatra, da postoje pretpostavke o 'ekstremizmu' zato što sam muslimanka”, rekla je, pitajući se “koga su označili i koja su za to opravdanja.”

Oslanjajući se na javno dostupne informacije, Voyagerov softver stvara prilično opsežnu i invazivnu sliku privatnog života osobe, rekli su stručnjaci. No, kompanija nadopunjuje te podatke nejavnim informacijama kojima dobiva pristup putem dva primarna kanala: naloga ili sudskih poziva i onoga što kompanija naziva "aktivnom osobom".

U prvom slučaju, Voyagerova tehnologija pregleda ogromne količine podataka koje dobiva kroz različite vrste naloga. Takve informacije mogu uključivati privatne poruke subjekata, informacije o njihovoj lokaciji ili ključne riječi koje su tražili. Voyager katalogizira i analizira ove često ogromne količine korisničkih podataka i uspoređuje ih s društvenim i geografskim kartama sastavljenim iz javnih informacija.

Za svoju uslugu jamstva za Facebook, Voyagerov softver analizira privatne poruke kako bi identificirao profile s kojima subjekti najčešće komuniciraju. Zatim prikazuje javne postove subjekta uz te privatne poruke, kako bi pružio “vrijedan” kontekst. Voyager je rekao da planira uvesti iste mogućnosti indeksiranja naloga za Instagram i Snap, što bi uključivalo mogućnosti obrade slika.

John Hamasaki, advokat za kaznena djela i član policijskog povjerenstva u San Franciscu, rekao je da je već imao zabrinutosti u vezi s tim kako sudije daju policiji pristup privatnim internetskim računima, posebno Afroamerikanaca i Latinoamerikanaca optuženih da su u bandama: “Privatni podaci oduzimaju se navodno zakonito pod nalogom za pretres.”

Ako je policija dodatno koristila softver i algoritme za analizu privatnih podataka, to je povećalo potencijalno kršenje privatnosti i građanskih sloboda, rekao je.

Manje je detalja o drugom načinu putem kojeg Voyagerov softver pristupa nejavnim informacijama: njegovoj vrhunskoj usluzi koja se naziva "aktivna osoba". Dokumenti pokazuju da korisnici mogu koristiti ono što Voyager naziva "avatarima" za "prikupljanje i analizu informacija koje su inače nedostupne" na odabranim mrežama. Koristeći značajku aktivne osobe, rekla je kompanija, njezin softver je mogao pristupiti i analizirati informacije iz aplikacije za šifriranje poruka Telegram. Plan proizvoda za 2019. godinu također pokazuje planove za uvođenje mehanizma "aktivne osobe" za WhatsApp grupe, "što znači da će korisnik morati sistemu dati avatar s pristupom grupi iz koje želi prikupljati podatke". Vremenska traka koju je Voyager dostavio LAPD-u pokazuje da je kompanija imala planove i za uvođenje značajke koja omogućava "Privatno prikupljanje profila na Instagramu".

Stručnjaci kažu da je značajka "aktivna osoba" još jedno ime za lažne profile, a službenik LAPD-a opisao je tu funkciju kao mogućnost "prijave s lažnim računima koji su već povezani s ciljnim subjektom i prikupljanjem podataka". Dok policijske uprave diljem zemlje sve više koriste lažne profile na društvenim medijima za provođenje istraga, ova praksa može kršiti standarde zajednice Facebooka i drugih platformi.

Pravila Facebooka zahtijevaju od ljudi da koriste “ime koje koriste u svakodnevnom životu”. Kompanija uklanja ili privremeno ograničava račune koji "ugrožavaju sigurnost drugih računa" ili se pokušavaju lažno predstavljati. U 2018. godini policija u Memphisu, Tennessee, koristila je lažni račun pod imenom Bob Smith kako bi se sprijateljili i prikupljali informacije o aktivistima. Kao odgovor, Facebook je deaktivirao račun i druge slične njemu i rekao policijskoj upravi da mora "prekinuti sve aktivnosti na Facebooku koje uključuju korištenje lažnih računa ili lažno predstavljanje drugih". Facebook je rekao da su svi, uključujući policiju, morali koristiti svoja prava imena na svojim profilima.

"Kao što je navedeno u našim uvjetima pružanja usluga, lažno predstavljanje nije dopušteno na našim uslugama i poduzimamo mjere kada otkrijemo kršenje aktivnosti", rekla je glasnogovornica Facebooka Sally Aldous u saopćenju.

Stručnjake zabrinjava koliko toga je dopušteno tehnološkim kompanijama koje omogućavaju policijski nadzor.