Para expert di sekolah Philip’s West London memprediksikan bahwa dia akan mendapatkan 2 nilai A dan B dalam ujiannya, yang akan dengan nyaman mengamankan tempatnya untuk belajar hukum di Exeter College.
Pada 13 Agustus, siswa itu duduk di rumah mencoba mengakses situs world-wide-web yang akan mengonfirmasi apakah dia memiliki tempat universitas atau tidak.
“Saya di atas mencoba untuk mendapatkan [the website] untuk memuat dan ibuku ada di bawah melakukan hal yang sama, “katanya kepada CNN.” Dia membukanya dan berteriak. Dan mereka menolak saya.
“Aku merasa tidak enak badan,” tambah Philip. “Ya, aku sangat kesal karenanya. Tapi semua orang yang bersamaku berada dalam situasi yang sama.”
Product itu memberi Philip nilai B dan 2 Cs. Remaja itu tidak sendiri hampir 40% nilai di Inggris diturunkan dari nilai prediksi expert, dengan siswa di sekolah yang didanai negara terkena dampak yang lebih keras oleh sistem daripada rekan sekolah swasta mereka. Banyak yang kemudian kehilangan tempat mereka di universitas.
Keributan mengikuti, dengan beberapa remaja melakukan protes di luar departemen pendidikan Inggris. Video dari protes mahasiswa dibagikan secara luas secara on line, termasuk movie di mana para remaja meneriakkan: “Persetan dengan algoritme!”
Menyusul beberapa hari headline negatif, Sekretaris Pendidikan Gavin Williamson mengumumkan bahwa siswa akan diberikan nilai prediksi expert, bukan nilai yang dialokasikan oleh model.
Algoritme yang dipilih dimaksudkan untuk menjamin keadilan, dengan memastikan distribusi kelas untuk kelompok tahun 2020 mengikuti pola tahun-tahun sebelumnya, dengan jumlah nilai tinggi dan rendah yang sama. Ini menggunakan nilai prediksi guru dan peringkat guru dari siswa untuk menentukan nilai. Namun yang terpenting, ini juga memperhitungkan kinerja historis sekolah, yang menguntungkan siswa dari latar belakang yang lebih kaya.
Sekolah swasta di Inggris, yang membebankan biaya orang tua, biasanya memiliki kelas yang lebih kecil, dengan nilai yang tidak dapat dengan mudah distandarisasi oleh design. Algoritme dengan demikian memberi bobot lebih pada nilai prediksi guru untuk kelompok ini, yang seringkali lebih kaya dan lebih putih daripada rekan mereka yang diturunkan peringkatnya di sekolah negeri.
“Salah satu kerumitan yang kami miliki adalah ada banyak cara agar algoritme bisa adil,” kata Helena Webb, peneliti senior di Departemen Ilmu Komputer Universitas Oxford.
“Anda bisa melihat argumen di mana [the government] kata [it] ingin mendapatkan hasil yang mirip dengan tahun lalu. Dan di tingkat negara, itu bisa dikatakan sebagai [being] adil. Tapi itu sama sekali merindukan apa yang adil bagi individu.
“Jelas algoritma ini mencerminkan dan mencerminkan apa yang telah terjadi di tahun-tahun sebelumnya,” tambahnya. “Jadi tidak [reflect] fakta bahwa sekolah mungkin [improve.] Dan tentu saja hal itu akan berdampak lebih buruk pada sekolah negeri daripada pada sekolah swasta terkenal yang secara konsisten memiliki nilai lebih tinggi. “
“Yang membuatku marah adalah caranya [they] merawat sekolah-sekolah negeri, “kata Josh Wicks, 18, seorang murid dari Chippenham di Wiltshire, Inggris Barat. Nilainya diturunkan dari 2 A * dan A menjadi 3 As.
“Algoritme berpikir jika sekolah tidak berhasil [high grades] sebelum, [pupils] tidak bisa mendapatkannya sekarang, “katanya kepada CNN.” Saya hanya berpikir itu menggurui. “
Badai politik telah membuat para menteri di pemerintahan Boris Johnson kesulitan mencari penjelasan, menyusul kritik keras terhadap penanganannya terhadap pandemi virus corona. Covid-19 telah menewaskan lebih dari 41.000 orang di Inggris, menjadikannya negara yang paling parah terkena dampak di Eropa.
Mengapa beberapa algoritme dituduh bias?
Algoritme digunakan di setiap bagian masyarakat saat ini, dari media sosial dan sistem aplikasi visa, hingga teknologi pengenalan wajah dan penilaian ujian.
Teknologi ini bisa membebaskan uang–pemerintah yang terikat dan untuk perusahaan yang mengejar inovasi. Tetapi para ahli telah lama memperingatkan adanya bias algoritmik dan karena proses otomatis menjadi lebih luas, begitu pula tuduhan diskriminasi.
“A-degree adalah puncak gunung es,” kata Cori Crider, salah satu pendiri Foxglove, sebuah organisasi yang menentang dugaan penyalahgunaan teknologi digital. Crider mengatakan kepada CNN bahwa algoritme mereplikasi bias yang ditemukan dalam details mentah yang digunakan.
Tapi Crider memperingatkan terhadap dorongan untuk hanya menyalahkan masalah kebijakan pada teknologi.
“Siapa pun yang memberi tahu Anda bahwa ini adalah masalah teknologi [lying],” dia berkata.
“Apa yang terjadi [with the exams] adalah bahwa pilihan politik dibuat untuk meminimalkan inflasi kelas. Itu pilihan politik, bukan teknologi. “
Foxglove menuduh bahwa sistem penyaringan mengalami putaran umpan balik, “di mana bias dan diskriminasi masa lalu, dimasukkan ke dalam system komputer, memperkuat bias dan diskriminasi di masa depan.”
“Kami telah meninjau bagaimana alat pengaliran aplikasi visa beroperasi dan akan mendesain ulang proses kami untuk membuatnya lebih efisien dan aman,” kata juru bicara Kantor Dalam Negeri Inggris kepada CNN.
“Tapi kami tidak menerima tuduhan Dewan Bersama untuk Kesejahteraan Imigran yang dibuat dalam klaim Judicial Overview dan sementara proses pengadilan masih berlangsung, tidak pantas bagi departemen untuk berkomentar lebih jauh.”
Crider mengatakan masalah yang ditemukan Foxglove dengan details masa lalu yang mengarah ke algoritme yang bias terbukti di tempat lain, menunjuk pada perdebatan tentang system kepolisian prediktif di Amerika Serikat.
“Kami memiliki teknologi yang dapat menargetkan orang kulit berwarna di komunitas kami – ini adalah teknologi yang tidak kami butuhkan,” kata Walikota Justin Cummings kepada kantor berita Reuters pada bulan Juni.
“Bagian dari masalah adalah information yang dimasukkan,” kata Crider.
“Details historis sedang dimasukkan [to algorithms] dan mereka mereplikasi [existing] bias. “
Webb setuju. “Banyak [the issue] adalah tentang details yang dipelajari oleh algoritme, “katanya.” Misalnya, banyak teknologi pengenalan wajah yang dihasilkan … masalahnya adalah, banyak [those] sistem dilatih pada banyak wajah pria kulit putih.
“Jadi, saat perangkat lunak mulai digunakan, sangat bagus dalam mengenali pria kulit putih, tetapi tidak begitu baik dalam mengenali wanita dan orang kulit berwarna. Dan itu berasal dari data dan cara info dimasukkan ke dalam algoritme.”
Webb menambahkan bahwa dia yakin sebagian masalah dapat dikurangi melalui “perhatian yang lebih besar pada inklusivitas dalam kumpulan info” dan dorongan untuk menambahkan “multiplisitas suara” yang lebih besar di sekitar pengembangan algoritme.
Peningkatan regulasi?
Aktivis dan ahli mengatakan kepada CNN bahwa mereka berharap debat baru-baru ini seputar algoritma akan mengarah pada pengawasan yang lebih besar terhadap teknologi tersebut.
“Ada kurangnya pengawasan peraturan tentang bagaimana sistem ini digunakan,” kata Webb, menambahkan bahwa perusahaan juga dapat memilih untuk mengatur sendiri.
Beberapa perusahaan menjadi lebih vokal tentang masalah ini.
Fb, yang memiliki Instagram, kemudian membentuk tim baru untuk meninjau bias dalam sistem perusahaan.
“Saya ingin melihat adanya tekanan demokrasi [the use of algorithms], “Kata Crider.” Apakah ada spot dalam kehidupan publik di mana tidak dapat diterima untuk memiliki sistem ini sama sekali? “
Sementara perdebatan berlanjut di ruang rapat dan akademisi, sistem otomatis ini terus menentukan kehidupan orang-orang dengan berbagai cara dan cara yang halus.
Bagi Philip, penghapusan algoritme ujian oleh pemerintah Inggris telah membuatnya bingung.
“Kami mengirim e-mail ke Exeter [University] dan menelepon dan mereka dalam keadaan berantakan, “katanya, menambahkan bahwa dia berharap dia bisa memenangkan tempatnya kembali. “Kurasa aku akan menunda sekarang juga.”
Dia mengatakan bahwa dia bersyukur diberi nilai prediksi tetapi mengatakan bahwa pengalamannya “sangat buruk”.
“[The government] punya waktu berbulan-bulan untuk menyelesaikan masalah ini, “katanya.” Saya mengerti bahwa ada banyak hal yang terjadi dengan masalah kesehatan tetapi […] itu pertunjukan yang sangat buruk. “
Penggemar alkohol pemenang penghargaan. Spesialis web. Pakar internet bersertifikat. Introvert jahat. Ninja bacon. Penggemar bir. Fanatik perjalanan total.
