Hösten 2018 blev det känt att internetgiganten Amazon hade fått skrota ett AI-verktyg som de hade utvecklat under flera års tid. Verktyget var tänkt att automatisera processen att sålla i de stora mängder jobbansökningar som kom in till företaget och kunna hitta toppkandidaterna till ett jobb. Där någonstans skulle HR-avdelningen ta över och leta vidare, kalla till intervjuer och tillsätta tjänsterna.
Men det visade sig inte fungera. När det gällde tjänster med teknisk inriktning valde systemet ut män mycket oftare än kvinnor som lämpliga kandidater. Tekniken verkade ha en inbyggd könsdiskriminering! Trots upprepade försök att bygga om verktyget verkade det inte kunna bli det hjälpmedel man hade hoppats på. Så det skrotades till sist.
Det finns fler exempel på när AI har visat prov på diskriminering. Men att en artificiell intelligens uppvisar sådana egenskaper beror naturligtvis inte på tekniken i sig, utan på vilken information som används när modellen tränas. En AI-modell tränas med stora mängder historiska data och det är den informationen modellen använder för att fatta beslut i nya situationer.
De data som finns tillgängliga för att träna en modell med är, i fallet med Amazons verktyg, insamlade utifrån beslut som har fattats av människor. Det faktum att få kvinnor rekommenderades för de tekniska jobben berodde på att modellen har lärt sig att det brukar vara så. Tekniken har ingen inbyggd anti-diskrimineringsfunktion, även om den i sig inte diskriminerar. Men den lär sig helt enkelt av människors tidigare beslut, och om de besluten är diskriminerande och de matas till modellen utan urskillning eller viktning så lär sig maskinen att det är det rätta.
Att skapa en fördomsfri artificiell intelligens kräver att den matas med fördomsfria data. När Microsofts chatbot Tay släpptes lös på Twitter häromåret fick kontot stängas ner efter bara ett dygn, efter att hon tagit efter Twitter-trollens hatiska språkbruk och blivit allt annat än en mysig tyckare. I den ursprungliga idén, att boten skulle bli duktigare på att konversera med mer träning, fanns inte tanken på att hon även skulle lära sig att vara oförskämd.
AI blir det vi tränar den till. Opartiska maskiner som hjälper oss fatta kloka beslut utan inverkan av förutfattade meningar blir verklighet först när vi kan välja ut rätt data att träna modellen med, och använda en fördomsfri metod för hur modellen ska valideras.
Det produceras enorma mängder data i dag och det finns många stora drömmar om vad den informationen ska kunna hjälpa oss med. Dessutom är datorkraften så billig att det är möjligt att utnyttja AI även i mindre enheter, det behövs inga stordatorer längre för att behandla all denna information.
Men det är inte så enkelt som att presentera alla dessa data för ett AI-system och säga: Lär dig! Kloka människor måste finnas där för att uppfostra modellen till att bli ett schyst verktyg. Våra fördomar smittar av sig, och det är vårt jobb att lära AI vad som är rätt och fel. Att det nästan bara är män som har fått teknikjobben på Amazon historiskt sett betyder inte att de är mer lämpade – det betyder att människors fördomar har skapat de data som lär AI att det är så.
