Dünyanın en önemli yapay zeka konferansı haline gelen konferansın ilk dersi için yüzlerce kişi bir araya geldi – sıra sıra yüz. Bazıları Doğu Asyalı, birkaçı Hintli ve birkaçı kadındı. Ancak büyük çoğunluğu beyaz adamlardı. Toplantıya beş yıl önce İspanya’nın Barselona kentinde 5.500’den fazla kişi katıldı.
O zamanlar Stanford Üniversitesi’nde yüksek lisans öğrencisi olan Timnit Gebru, kendisinden başka hepsinin erkek olduğunu bildiği altı Siyahi saydığını hatırlıyor.
Homojen kalabalık, onun için göze batan bir sorun olarak belirginleşti. Büyük teknoloji düşünürleri A.I’nin gelecek olduğunu söylüyor. Arama motorları ve e-postadan arabalarımızı çalıştıran, sokaklarımızın denetimini yöneten ve aşılarımızı oluşturmaya yardımcı olan yazılıma kadar her şeyin temelini oluşturacak.
Ama neredeyse tamamen erkek, ağırlıklı olarak beyaz iş gücünün önyargılarını taklit edecek şekilde inşa ediliyor.
Yapay zeka hakkında yazdığım yaklaşık 10 yıl içinde iki şey sabit kaldı: Teknoloji uyumlarda durmaksızın gelişiyor ve ani, ileriye doğru büyük adımlar atıyor. Ve önyargı, teknoloji şirketlerinin kabul etmekte isteksiz oldukları bir şekilde bu çalışmayı incelikle ören bir konu.
Kaliforniya, Menlo Park’taki ilk gece evinde, Barselona konferansından sonra dizüstü bilgisayarıyla kanepede bağdaş kurarak oturan Dr. Gebru, A.I. iş gücü muammasını bir Facebook gönderisinde anlattı.
“Makinelerin dünyayı ele geçirmesinden endişelenmiyorum. A. I. topluluğundaki grup düşüncesi, dar görüşlülük ve küstahlık konusunda endişeliyim – özellikle de bu alandaki insanlara yönelik mevcut yutturmaca ve taleple, ”diye yazdı. “Teknolojiyi yaratan insanlar sistemin büyük bir parçası. Birçoğu aktif olarak yaratılmasının dışında bırakılırsa, bu teknoloji çok azına zarar verirken birkaçına da fayda sağlayacaktır. ”
A.I. topluluğu mini manifesto hakkında konuştu. Kısa bir süre sonra Dr. Gebru, A. I’de Black adında yeni bir organizasyonun oluşturulmasına yardım etti. Doktora eğitimini tamamladıktan sonra Google tarafından işe alındı.
Google içinde “etik A.I” ye adanmış bir grup oluşturan Margaret Mitchell ile birlikte çalıştı. Dr. Mitchell daha önce Microsoft’taki araştırma laboratuvarında çalışmıştı. 2016’da Bloomberg News’e A. I.’in “ahbaplar denizi” probleminden muzdarip olduğunu söylediğinde dikkatleri üzerine çekmişti. Son beş yılda yüzlerce erkek ve yaklaşık 10 kadınla çalıştığını tahmin ediyordu.
Çalışmaları çığır açıcı olarak selamlandı. Yeni ortaya çıkan A.I endüstrisi, netleşti, bakıcılara ve farklı bakış açılarına sahip insanlara ihtiyaç duyuyordu.
Yaklaşık altı yıl önce, bir Google çevrimiçi fotoğraf hizmetinde A. I., Siyahların fotoğraflarını “goriller” adlı bir klasörde düzenledi. Dört yıl önce, New York’taki bir start-up’taki bir araştırmacı, üzerinde çalıştığı A.I sisteminin Siyahlara karşı son derece önyargılı olduğunu fark etti. Kısa bir süre sonra, Boston’daki bir Siyah araştırmacısı, bir A. I. sisteminin yüzünü tanımlayamadığını keşfetti – o beyaz bir maske takana kadar.
2018’de Google’ın halkla ilişkiler personeline yapay zeka hakkında bir kitap üzerinde çalıştığımı söylediğimde, çalışmalarını tartışmak için Dr. Mitchell ile uzun bir konuşma ayarladı. Şirketin Etik A.I ekibini nasıl kurduğunu ve Dr. Gebru’yu nasıl kattığını anlatırken, önyargı sorununa bu kadar yakından odaklanmış birinden haber almak ferahlatıcıydı.
Ancak yaklaşık üç yıl sonra Dr. Gebru, net bir açıklama yapılmadan şirketten atıldı. Google’ın azınlıkların işe alınmasına yönelik yaklaşımını eleştirdikten ve bir araştırma makalesinde, Google’ın arama motorunu ve diğer hizmetleri destekleyen A. I. sistemlerindeki zararlı önyargıları vurguladıktan sonra kovulduğunu söyledi.
Dr. Gebru, kovulmadan önce bir e-postada “Yetersiz temsil edilen insanları savunmaya başladığınızda hayatınız daha da kötüye gidiyor” dedi. “Diğer liderleri üzmeye başlıyorsun. ”
Dr. Mitchell, Dr. Gebru’yu savunduğu için, şirket onu da uzaklaştırdı. Kendi Google e-posta hesabında, konumlarını destekleyecek materyaller için arama yapmış ve e-postaları başka bir hesaba yönlendirerek bir şekilde başını belaya soktu. Google bu makale için yorum yapmayı reddetti.
Ayrılışları A.I. araştırmacıları ve diğer teknoloji çalışanları için bir tartışma konusu haline geldi. Bazıları, dev bir şirketin artık dinlemeye istekli olmadığını ve sonuçlarını dikkate almadan teknolojiyi kapıdan çıkarmaya çok hevesli olduğunu gördü. Kısmen teknolojik ve kısmen sosyolojik olan eski bir problemin sonunda açığa çıktığını gördüm.
80 Hatalı Fotoğraf
Yapay zeka teknolojisi nihayetinde Google’ın yaptığı neredeyse her şeye girecek. Kredi. . . Cody O’Loughlin, The New York Times için
Bir uyandırma çağrısı olmalıydı.
Haziran 2015’te bir arkadaş, Brooklyn’de yaşayan 22 yaşındaki yazılım mühendisi Jacky Alciné’yi, arkadaşının yeni Google Foto hizmetine gönderdiği anlık görüntüler için bir internet bağlantısı gönderdi. Google Fotoğraflar, anlık görüntüleri analiz edebilir ve bunları resimlere göre otomatik olarak dijital klasörlere sıralayabilir. Bir klasör “köpekler”, başka bir “doğum günü partisi olabilir. ”
Bay Alciné bağlantıya tıkladığında, klasörlerden birinin “goriller” olarak etiketlendiğini fark etti. Bu ona mantıklı gelmedi, bu yüzden klasörü açtı. Yaklaşık bir yıl önce yakınlardaki Prospect Park’taki bir konserde bir arkadaşının çektiği 80’den fazla fotoğrafı buldu. O arkadaş zenciydi.
Google yanlışlıkla yalnızca bir fotoğrafı etiketlemiş olsaydı gitmesine izin verebilirdi. Ama 80? Twitter’da bir ekran görüntüsü yayınladı. “Google Fotoğraflar, millet,” diye yazdı, daha açıklayıcı bir dil kullanarak. Arkadaşım goril değil. ”
Yüz tanıma hizmetleri, konuşan dijital asistanlar ve konuşma amaçlı “sohbet robotları” gibi, Google Foto da, büyük miktarda dijital veriyi analiz ederek becerilerini öğrenen bir A. I. sistemine güveniyordu.
“Sinir ağı” olarak adlandırılan bu matematiksel sistem, mühendislerin asla kendi başlarına bir makineye kodlayamayacakları görevleri öğrenebilir. Binlerce goril fotoğrafını analiz ederek bir gorili tanımayı öğrenebilir. Aynı zamanda çok büyük hatalar yapabiliyordu. Bu matematiksel sistemleri eğitirken doğru verileri seçme sorumluluğu mühendislerin üzerindeydi. (Bu durumda, en kolay düzeltme, bir fotoğraf kategorisi olan “gorili” ortadan kaldırmaktı.)
Bir yazılım mühendisi olarak Bay Alciné sorunu anladı. Bunu lazanya yapmakla karşılaştırdı. “Lazanya malzemelerini erken bozarsan, her şey mahvolur,” dedi. “A. I ile aynı şey. İçine ne koyduğunuz konusunda çok bilinçli olmalısınız. Aksi takdirde, geri almak çok zordur. “
Porno Sorunu
2017’de Ottawa’dan 21 yaşındaki Siyah bir kadın olan Deborah Raji, çalıştığı başlangıç olan Clarifai’nin New York ofislerinde bir masaya oturdu. Şirket, dijital görüntülerdeki nesneleri otomatik olarak tanıyan bir teknoloji geliştirdi ve bunu işletmelere, polis departmanlarına ve devlet kurumlarına satmayı planladı.
Şirketin yüz tanıma yazılımını eğitmek için kullandığı yüzlerle dolu ekrana baktı.
Bu yüzlerin sayfaları arasında gezinirken, çoğunun – yüzde 80’den fazlasının – beyaz insanlar olduğunu fark etti. Bu beyazların yüzde 70’inden fazlası erkekti. Clarifai, sistemini bu veriler üzerine eğittiğinde, beyaz insanları tanımak için iyi bir iş çıkarabilir, diye düşündü Bayan Raji, ama beyaz olmayan insanlarda ve muhtemelen kadınlarda da sefil bir şekilde başarısız olur.
Clarifai ayrıca, pornografiyi otomatik olarak belirleyip insanların sosyal ağlara gönderdiği görsellerden kaldırabilen bir araç olan bir “içerik denetim sistemi” inşa ediyordu. Şirket bu sistemi iki veri kümesi üzerinde eğitti: çevrimiçi pornografi sitelerinden çekilen binlerce fotoğraf ve stok fotoğraf hizmetlerinden satın alınan binlerce G dereceli görüntü.
Sistemin pornografik ve anodin arasındaki farkı öğrenmesi gerekiyordu. Sorun şu ki, G-derecelendirmeli görüntülere beyaz insanlar hakimdir ve pornografinin böyle olmamasıydı. Sistem, Siyahları pornografik olarak tanımlamayı öğreniyordu.
Raji, “Bu sistemleri eğitmek için kullandığımız veriler önemlidir,” dedi. “Kaynaklarımızı körü körüne seçemeyiz. “
Bu onun için açıktı, ancak şirketin geri kalanı için öyle değildi. Eğitim verilerini seçenlerin çoğu beyaz erkekler olduğu için verilerinin önyargılı olduğunun farkında değildiler.
Clarifai’nin CEO’su Matt Zeiler yaptığı açıklamada, “Yüz tanıma teknolojilerindeki önyargı konusu gelişen ve önemli bir konudur” dedi. Önyargıyı ölçmek, “önemli bir adımdır. ”
“Siyah Cilt, Beyaz Maskeler”
Google’a katılmadan önce Dr. Gebru, genç bilgisayar bilimcisi Joy Buolamwini ile bir çalışma üzerinde işbirliği yaptı. Massachusetts Teknoloji Enstitüsünden bir yüksek lisans öğrencisi olan Siyah olan Bayan Buolamwini, akademisyen bir aileden geliyordu. Dedesi ve babası tıbbi kimya konusunda uzmanlaştı.
Yüz tanıma teknolojisine yöneldi. Diğer araştırmacılar bunun olgunluğa ulaştığına inanıyordu, ancak kullandığında olmadığını biliyordu.
Ekim 2016’da bir arkadaşı onu birkaç kadınla birlikte Boston’da bir geceye davet etti. Arkadaş, “Maskeler yapacağız,” dedi. Arkadaşı, bir kaplıcada cilt bakım maskeleri demek istiyordu, ancak Bayan Buolamwini, Cadılar Bayramı maskelerini üstlendi. Bu yüzden o sabah ofisine beyaz plastik bir Cadılar Bayramı maskesi taşıdı.
Birkaç gün sonra derslerinden biri için bir projeyi bitirmeye çalışırken hala masasında oturuyordu. Yüzünü takip etmek için bir tespit sistemi kurmaya çalışıyordu. Ne yaparsa yapsın, tam olarak işe yarayamadı.
Hayal kırıklığı içinde masasından beyaz maskeyi aldı ve başının üzerine çekti. Her şey bitmeden, sistem onun yüzünü tanıdı – ya da en azından maskeyi tanıdı.
Bir röportajında, psikiyatrist Frantz Fanon’un 1952 tarihli tarihsel ırkçılık eleştirisine başını sallayarak “Siyah Ten, Beyaz Maskeler” dedi. “Metafor gerçek oluyor. Bir norm uymak zorundasın ve bu norm sen değilsin. ”
Bayan Buolamwini, Microsoft ve IBM araçları da dahil olmak üzere yüzleri analiz etmek ve yaş ve cinsiyet gibi özellikleri belirlemek için tasarlanmış ticari hizmetleri keşfetmeye başladı.
Servisler daha açık tenli erkeklerin fotoğraflarını okuduğunda, cinsiyetin yaklaşık yüzde 1’inde yanlış tanımladıklarını keşfetti. Ancak fotoğraftaki cilt ne kadar koyu olursa, hata oranı o kadar büyük olur. Koyu tenli kadınların görüntüleriyle özellikle yükseldi. Microsoft’un hata oranı yaklaşık yüzde 21 idi. IBM’in 35’iydi.
2018 kışında yayınlanan çalışma, yüz tanıma teknolojisine ve özellikle kolluk kuvvetlerinde kullanımına karşı bir tepki yarattı. Microsoft’un baş hukuk yetkilisi, teknolojinin insan haklarını makul olmayan bir şekilde ihlal edebileceği endişesi olduğunda şirketin satışları kanun yaptırımlarına geri çevirdiğini söyledi ve hükümet düzenlemeleri için kamuya açık bir çağrı yaptı.
On iki ay sonra Microsoft, Washington Eyaletinde, yüz tanıma kullanılarak halka açık yerlerde bildirimlerin yayınlanmasını gerektiren ve devlet kurumlarının belirli kişileri ararken mahkeme kararı almasını sağlayan bir tasarıyı destekledi. Tasarı geçti ve bu yılın sonlarında yürürlüğe girecek. Bu makale için yorum talebine cevap vermeyen şirket, daha güçlü koruma sağlayacak diğer mevzuatı desteklemedi.
Bayan Buolamwini, M. I. T’ye taşınan Bayan Raji ile işbirliği yapmaya başladı. Üçüncü bir Amerikan teknoloji devi Amazon’un yüz tanıma teknolojisini test etmeye başladılar. Şirket, teknolojisini Amazon Rekognition adı altında polis departmanlarına ve devlet kurumlarına pazarlamaya başlamıştı.
Bayan Buolamwini ve Bayan Raji, bir Amazon yüz hizmetinin kadın ve koyu tenli yüzlerin cinsiyetini belirlemede de sorun yaşadığını gösteren bir çalışma yayınladılar. Araştırmaya göre, hizmet kadınları yüzde 19 oranında erkek zannediyor ve yüzde 31 oranında koyu tenli kadınları erkekler için yanlış tanımlıyor. Daha açık tenli erkekler için hata oranı sıfırdı.
Amazon, yüz tanımanın hükümet tarafından düzenlenmesini istedi. Ayrıca özel e-postalarda ve herkese açık blog yayınlarında araştırmacılara saldırdı.
Amazon yöneticisi Matt Wood, “Yeni teknolojiyle ilgili endişelerin cevabı, hizmetin nasıl kullanılacak şekilde tasarlandığıyla tutarsız ‘testler’ yürütmek değil ve testin yanlış ve yanıltıcı sonuçlarını haber medyası aracılığıyla güçlendirmek,” diye yazdı çalışmaya itiraz eden bir blog yazısı ve onu açıklayan bir New York Times makalesi.
Dr. Mitchell ve Dr. Gebru açık bir mektupta Amazon’un iddiasını reddettiler ve onu kanun yaptırımlarına satışı durdurmaya çağırdılar. Mektup; Google, Microsoft ve akademiden 25 yapay zeka araştırmacısı tarafından imzalandı.
Geçen Haziran, Amazon geri adım attı. Polisin teknolojisini en az bir yıl kullanmasına izin vermeyeceğini açıklayarak, teknolojinin etik kullanımına yönelik kurallar oluşturması için Kongre’ye süre vermek istediğini söyledi. Kongre konuyu henüz ele almadı. Amazon bu makale için yorum yapmayı reddetti.
Google’da Son
Dr. Gebru ve Dr. Mitchell, kendi şirketlerinde değişim için savaşırken daha az başarılı oldular. Google’daki kurumsal bekçiler, avukatların ve hatta iletişim personelinin araştırma belgelerini incelediği yeni bir inceleme sistemiyle onları yönlendiriyorlardı.
Dr. Gebru’nun Aralık ayında işten çıkarılmasının, şirketin Dr. Mitchell ve Google’daki diğer üç araştırmacı da dahil olmak üzere altı araştırmacı ile birlikte yazdığı bir araştırma makalesine yaptığı muameleden kaynaklandığını söyledi. Makalede, Google tarafından oluşturulan ve arama motorunun temelini oluşturan bir sistem de dahil olmak üzere yeni bir dil teknolojisi türünün kadınlara ve beyaz olmayan insanlara karşı önyargı gösterebileceği yolları tartışıldı.
Makaleyi akademik bir konferansa gönderdikten sonra Dr. Gebru, bir Google yöneticisinin ya kağıdı geri çekmesini ya da Google çalışanlarının isimlerini kaldırmasını istediğini söyledi. Şirket kendisine neden gazeteyi geri çekmesini ve diğer endişelerine cevap vermesini istediğini söyleyemezse istifa edeceğini söyledi.
Yanıt: İstifası derhal kabul edildi ve Google, şirket e-postasına ve diğer hizmetlere erişimini iptal etti. Bir ay sonra, Dr. Gebru’yu savunmak için kendi e-postasında arama yaptıktan sonra Dr. Mitchell’in erişimini kaldırdı.
Google A. I. laboratuvarı başkanı Jeff Dean, şirketin Dr. Mitchell’i kovmasının hemen ardından geçen ay yapılan bir Google personeli toplantısında, şirketin hassas araştırma makalelerini incelemesini sınırlandırmak için katı kurallar oluşturacağını söyledi. Ayrıca yorumları savundu. Dr. Mitchell’in işten çıkarılmasının ayrıntılarını tartışmayı reddetti, ancak şirketin davranış kurallarını ve güvenlik politikalarını ihlal ettiğini söyledi.
Bay Dean’in yeni teğmenlerinden biri olan Zoubin Ghahramani, şirketin zor konularla başa çıkmaya istekli olması gerektiğini söyledi. A. Ben’in sorumlu olduğu rahatsız edici şeyler var, kaçınılmaz olarak gündeme getirecek, dedi. “Bu rahatsızlıkla rahat olmamız gerekiyor. ”
Ancak Google’ın hem şirket içinde hem de dışında güveni yeniden kazanması zor olacak.
Google’ın 10 üyeli Ethical A. I. ekibinin uzun süredir bir parçası olan Alex Hanna, “Bu insanları kovmaktan kurtulabileceklerini ve sonunda onlara zarar vermeyeceğini düşünüyorlar, ancak kesinlikle kendilerini ayaklarından vuruyorlar,” dedi. “Yaptıkları şey inanılmaz derecede miyop. ”
Cade Metz, The Times’da bir teknoloji muhabiri ve bu makalenin uyarlandığı “Genius Makers: The Mavericks Who Brought A. I’i Google’a, Facebook’a ve Dünyaya” nın yazarıdır.