Annons
Annons

Mark Edmonds, som knappar på tangentbordet, jobbar med AI-roboten på UCLA. Efter att ha blivit upplärd kunde roboten öppna helt främmande pillerburkar. Att uppgiften just blev öppnandet av barnsäkra pillerburkar beror på deras kluriga tryck- och vridgrepp – svåra att snappa upp genom att bara titta utan att samtidigt få en förklaring.

Bild: 
UCLA Samueli School of Engineering

Så vinner AI människors tillit

Att kunna lita på en artificiell intelligens handlar inte bara om hur väl den presterar. Människan behöver också förstå tanken bakom dess beslut. Det visar en ny amerikansk studie.

Publicerad:

2020-01-08

AI-forskningen går framåt med stormsteg, men ligger efter när det gäller hur väl systemen kan förklara det de gör.

– Det är mycket mycket svårt att tolka det som händer inuti dagens deep learning-system, säger Mark Edmonds, forskare på institutionen för datavetenskap vid UCLA, Kalifornien.

Forskargruppen han tillhör har därför tagit fram en AI-modell som kan förklara sig, och samtidigt testat vilka typer av förklaringar som skapar mest tillit hos människor. Studien är publicerad i Science Robotics.

Stor variation trots samma prestation

Fem grupper om 30 personer fick se en robot öppna barnsäkra pillerburkar och fick samtidigt en förklaring till hur den gjorde för att lösa uppgiften. Robotens tillvägagångssätt var likadant varje gång men förklarades på olika sätt. Efteråt fick deltagarna bedöma hur mycket tillit de kände för robotens förmåga att öppna burkarna. Trots att den presterat exakt lika (en lyckad och en misslyckad öppning), varierade deltagarnas tillit stort.

Allra högst tillitspoäng fick roboten när den i realtid beskrev varje moment med ett ord och samtidigt visade sina rörelser på en animerad 3D-modell. När förklaringen kom i realtid med endast ord gavs i princip lika höga tillitspoäng.

En förklaringen med enbart 3D-modell gav dock inte alls lika höga tillitspoäng, trots att roboten visade vad som hände i realtid. Ännu sämre blev det när roboten enbart gav en textsammanfattning i efterhand – det gav tillitspoäng bara strax över att inte ge någon förklaring alls.

Resultaten tyder alltså på att en förklaring med hög tillit dels ska vara begriplig men även gå att hänga med i tidsmässigt – något Mark Edmonds och hans kollegor ska fortsätta undersöka.

Ska underlätta för ingenjörer

Trots att denna forskning på sikt kan bidra till AI som förklarar sig för konsumenter är det än så länge en avlägsen dröm. Forskningsfältet Explainable AI (XAI) är purfärskt och ska främst underlätta för ingenjörer. På så vis kan de fånga upp problem tidigare istället för att reda ut dem i efterhand, och minimera risken för obehagliga överraskningar – i värsta fall efter en olycka där någon blivit skadad.

– Just nu försöker vi bara lista ut hur vi kan göra dessa system mer förklarliga, och vad en bra förklaring är. Mindre fokus ligger på den långsiktiga tillämpningen, utan vi har börjat med detta första steg, säger Mark Edmonds.

Forskning & Framsteg berättar om fackgranskade forskningsresultat och om pågående forskning. Våra texter ska vara balanserade och trovärdiga, och sätta forskningsresultaten i sitt sammanhang för att göra dem begripliga. Forskning & Framsteg har rapporterat om vetenskap sedan 1966.

Anmäl dig till vårt kostnadsfria veckobrev med ett urval av de senaste nyheterna.

.