Bisnis deteksi penipuan memiliki rahasia kotor
Dampak algoritme pada komunitas Roma Serbia sangat dramatis. Ahmetović mengatakan kerabat perempuannya juga telah dipotong pembayaran kesejahteraannya semenjak sistem diperkenalkan, seperti halnya banyak tetangganya. “hampir seluruh orang yang tinggal di permukiman Roma di beberapa kota telah kehilangan tunjangan,” kata Danilo Ćurčić, koordinator program A11, organisasi nirlaba Serbia yang memberikan donasi hukum. A11 melakukan percobaan memberi bantuan keluarga Ahmetović dan lebih dari 100 keluarga Roma lainnya mengklaim tunjangan mereka.
namun pertama-tama Ćurčić harus tahu cara kerja sistemnya. Sejauh ini, pemerintah telah menolak permintaannya buat membagikan kode sumber dengan alasan kekayaan intelektual, dengan alasan itu akan melakukan pelanggaran kontrak yang mereka tanda tangani dengan perusahaan yang benar-benar membangun sistem tersebut, kata dia. Menurut Ćurčić dan kontrak pemerintah, sebuah perusahaan Serbia bernama Saga, yang berspesialisasi dalam otomatisasi, terlibat dalam pembangunan sistem kartu sosial. Baik Saga maupun Kementerian Sosial Serbia tak menanggapi permintaan komentar dari WIRED.
Seperti govtech Industri ini telah mempunyai peningkatan, begitu pula kuantitas perusahaan yang melakukan penjualan sistem deteksi penipuan. dan tak seluruhnya yakni startup domestik seperti Saga. Accenture, perusahaan publik paling besar di Irlandia, mempekerjakan lebih dari separuh juta orang di seluruh dunia, telah mengerjakan sistem antipenipuan di seluruh Eropa. Pada tahun 2017, Accenture memberi bantuan kota Rotterdam di Belanda menumbuhkembangkan sistem yang menghitung skor risiko buat setiap penerima kesejahteraan. dokumen perusahaan yang menjelaskan proyek bukan palsu, yang diperoleh Lighthouse Reports dan WIRED, merujuk pada sistem pembelajaran mesin yang dibuat oleh Accenture yang menganalisis data dari ribuan orang buat menilai kemungkinan masing-masing dari mereka melakukan penipuan kesejahteraan. “Pemerintah kemudian dapat mengurutkan penerima kesejahteraan dalam urutan risiko anak haram, sehingga mereka yang paling berisiko dapat diselidiki terlebih dahulu,” kata dokumen tersebut.
orang yang menjabat Rotterdam mengatakan sistem Accenture dipakai hingga 2018, pada saat tim dari departemen riset dan intelijen bisnis Rotterdam mengambil alih pengembangan algoritme. Saat Lighthouse Reports dan WIRED menganalisis algoritme penipuan Rotterdam versi 2021, menjadi jelas bahwa sistem mendiskriminasi berdasarkan ras dan jenis kelamin. dan sekitar 70 persen variabel dalam sistem 2021—kategori informasi seperti jenis kelamin, bahasa lisan, dan riwayat kesehatan mental yang dipakai algoritme buat menghitung kemungkinan seseorang melakukan penipuan kesejahteraan—kelihatannya sama dengan versi Accenture.
pada saat ditanya tentang kemiripannya, juru bicara Accenture Chinedu Udezue mengatakan “model start-up” perusahaan dilakukan pemindahan ke kota pada tahun 2018, pada saat kontrak berakhir. Rotterdam berhenti menggunakan algoritme pada tahun 2021 setelah peninjau mendapatkan bahwa data yang digunakannya berisiko menghasilkan hasil yang miring.
Perusahaan ahli yang tugasnya memberi petuah biasanya meluncurkan model analitik prediktif dan kemudian pergi setelah enam hingga delapan bulan, kata Sheils, kepala layanan publik Eropa Accenture. Dia mengatakan timnya memberi bantuan pemerintah menghindari apa yang dia gambarkan sebagai kutukan industri: “positif palsu,” istilah Sheils buat peristiwa yang menghancurkan hidup dari sebuah algoritme yang secara salah menandai orang yang tak bersalah buat diselidiki. “Itu dapat terjadi tampak seperti cara yang sangat klinis buat melihatnya, tetapi secara teknis, hanya itu saya.” Sheils mengatakan Accenture memberi pengurangan problem ini dengan memberi dorongan klien buat menggunakan kecerdasan buatan ataupun pembelajaran mesin buat meningkatkan, bukan menggantikan, pembuat keputusan manusia. “Itu mempunyai arti memastikan bahwa penduduk negara tak mendapatkan derita konsekuensi negatif yang signifikan hanya berdasarkan keputusan AI.”
tetapi, orang yang kerja sosial yang diminta buat menyelidiki orang-orang yang dilaporkan oleh sistem ini sebelum membikin keputusan akhir belum tentu melakukan penilaian independen, kata Eva Blum-Dumontet, ahli yang tugasnya memberi petuah kebijakan teknologi yang telah meneliti algoritme dalam sistem kesejahteraan Inggris United buat grup kampanye Privasi Internasional. “Manusia ini masih akan terpengaruh oleh keputusan AI,” kata dia. “Memiliki manusia di sekitar tak mempunyai arti manusia memiliki waktu, pelatihan, ataupun kemampuan buat memberi pertanyaan keputusan.”
