Di dalam mesin data pemerintah yang tidak bermanfaat
minggu lalu, KABEL sudah menerbitkan serangkaian cerita mendalam berbasis data tentang algoritme bermasalah yang diterapkan kota Rotterdam di Belanda dengan tujuan melakukan pembasmian penipuan manfaat.
melakukan pekerjaan sama dengan Lighthouse Reports, sebuah organisasi Eropa yang berspesialisasi dalam jurnalisme investigasi, WIRED memperoleh akses ke bagian dalam algoritme di bawah undang-undang kebebasan informasi serta mengeksplorasi cara menilai siapa yang paling boleh jadi melakukan kejahatan.penipuan.
Kami memperoleh bahwasannya algoritme mendiskriminasi berdasarkan etnis serta jenis kelamin, secara tidak berpihak kepada yang benar memberikan nilai risiko yang lebih tinggi kepada perempuan serta minoritas, yang mampu mengarah pada investigasi yang menyebabkan kerusakan signifikan pada kehidupan pribadi pelamar. Sebuah artikel interaktif menggali inti dari algoritme, memandu anda berasal dari dua contoh hipotetis untuk menunjukkan bahwasannya meskipun ras serta jenis kelamin bukan yaitu faktor yang dimasukkan ke dalam algoritme, data lain, seperti kemahiran bahasa Belanda seseorang, dapat bermanfaat sebagai proksi yang dapat dimungkinkan diskriminasi.
Proyek ini menunjukkan bilamana algoritme yang dilakukan perancangan untuk membikin pemerintah lebih efisien, serta yang sering digembar-gemborkan sebagai lebih berpihak kepada yang benar serta lebih digerakkan oleh data, dapat secara tenang-tenang menjadikah lebih kuat bias masyarakat. Investigasi WIRED serta Lighthouse juga memperoleh bahwasannya negara lain sedang uji coba pendekatan cacat serupa untuk memperoleh penipu.
“Pemerintah sudah membangun algoritme ke dalam sistem mereka dalam jangka waktu bertahun-tahun, apakah itu spreadsheet ataupun pembelajaran mesin yang canggih,” kata Dhruv Mehrotra, reporter data investigasi di WIRED yang mengerjakan proyek tersebut. “tapi pada saat algoritme seperti ini diterapkan pada segala jenis penegakan hukum yang bersifat memberi sanksi serta prediktif, itu menjadi berpengaruh serta cukup memberikan ketakutan.”
Dampak investigasi yang dipicu oleh algoritma Rotterdam bisa sangat mengerikan, seperti yang mampu dilihat pada kasus ibu tiga anak yang menghadapi interogasi.
Tetapi Mehrotra menjelaskan proyek tersebut hanya dapat menyoroti ketidakadilan seperti itu karena WIRED serta Lighthouse memiliki peluang untuk memeriksa cara kerja algoritme: banyak sistem lain yang beroperasi dengan impunitas di balik kedok ketidakjelasan birokrasi. Dia menjelaskan penting juga untuk menjadi sadar bahwasannya algoritme seperti yang dipakai di Rotterdam sering kali dibangun di atas sistem yang pada dasarnya tidak berpihak kepada yang benar.
“Seringkali, algoritme hanya memaksimalkan teknologi yang sudah memberi sanksi kesejahteraan, penipuan, ataupun pengawasan,” kata dia. “anda tidak mempunyai maksud bahwasannya jikalau algoritmenya benar, itu akan baik-baik saja.”
penting juga untuk menjadi sadar bahwasannya algoritme menjadi semakin meluas di seluruh tingkat pemerintahan, namun cara kerjanya seringkali benar-benar tersembunyi dari mereka yang paling terpengaruh olehnya.
Investigasi lain yang dilakukan Mehrota pada tahun 2021, sebelum bergabung dengan WIRED, menunjukkan bilamana perangkat lunak prediksi kejahatan yang dipakai oleh beberapa bagian kepolisian sudah secara tidak berpihak kepada yang benar menargetkan komunitas Kulit Hitam serta Latin. Pada tahun 2016, ProPublica mengungkapkan bias yang mengkagetkan dalam algoritme yang dipakai oleh beberapa pengadilan di Amerika Serikat untuk memprediksi tertuduh kriminal mana yang paling beresiko mengalami residivisme. Algoritme bermasalah lainnya menentukan sekolah mana yang didatangi anak-anak, merekomendasikan perusahaan mana yang harus dipekerjakan, serta memutuskan aplikasi hipotek suatu keluarga mana yang disepakati.
Banyak perusahaan juga menggunakan algoritme untuk membikin ketetapan penting, tentu saja, serta ini seringkali bahkan kurang transparan dibandingkan dengan pemerintah. ada gerakan yang berkembang untuk melakukan permintaan pertanggungjawaban perusahaan atas pengambilan ketetapan algoritmik serta dorongan untuk undang-undang yang menuntut lebih banyak visibilitas. tapi masalahnya rumit, serta membikin algoritme lebih berpihak kepada yang benar terkadang malah memperburuk keadaan.
