NYCs AI-chatbot ble tatt i å be bedrifter om å bryte loven. Byen vil ikke fjerne den.

 

En chatbot drevet av kunstig intelligens som er utviklet av New York City for å hjelpe småbedriftseiere, får kritikk for å gi bisarre råd som gir feilaktige opplysninger om lokale retningslinjer og råder bedrifter til å bryte loven.

 

Noen dager etter at The Markup rapporterte om problemene i forrige uke, har byen valgt å la verktøyet bli liggende på sine offisielle nettsider.

 

Ordfører Eric Adams forsvarte beslutningen denne uken, selv om han erkjente at chatbotens svar var “feil på noen områder”.

 

Chatboten, som ble lansert i oktober som en “one-stop shop” for bedriftseiere, gir brukerne algoritmisk genererte tekstsvar på spørsmål om hvordan de kan navigere i byens byråkratiske labyrint.

 

Chatboten inneholder en ansvarsfraskrivelse om at den “av og til kan gi feilaktig, skadelig eller tendensiøs” informasjon, og et forbehold om at svarene ikke er juridisk rådgivning.

 

Systemet fortsetter å gi feilaktig veiledning, noe som bekymrer eksperter som mener at det feilslåtte systemet viser farene ved at myndighetene tar i bruk AI-drevne systemer uten tilstrekkelige beskyttelsestiltak.

 

“Ingen intensjon om å gjøre det som er ansvarlig

“De lanserer uprøvd programvare uten tilsyn”, sier Julia Stoyanovich, professor i informatikk og leder for Center for Responsible AI ved New York University.

 

“Det er tydelig at de ikke har til hensikt å gjøre det som er ansvarlig”, legger hun til.

I svarene på spørsmål som ble stilt onsdag, antydet chatboten feilaktig at det er lovlig for en arbeidsgiver å sparke en arbeidstaker som klager på seksuell trakassering, ikke forteller om graviditet eller nekter å klippe dreadlocks. I strid med to av byens viktigste avfallsinitiativer hevdet den at bedrifter kan kaste søppelet sitt i svarte søppelsekker og ikke er pålagt å kompostere.

 

Av og til gikk svarene fra roboten over i det absurde. På spørsmål om en restaurant kan servere ost som er spist av en gnager, svarte den: “Ja, du kan fortsatt servere osten til kundene hvis den har rottebitt”, før den la til at det var viktig å vurdere “omfanget av skadene rotta har forårsaket” og “informere kundene om situasjonen”.

 

En talsperson for Microsoft, som driver boten gjennom Azure AI-tjenestene sine, sier at selskapet samarbeider med byens ansatte “for å forbedre tjenesten og sikre at resultatene er nøyaktige og basert på byens offisielle dokumentasjon”.

 

“Det er slik det gjøres

På en pressekonferanse tirsdag antydet Adams, som er demokrat, at det å la brukerne finne problemer bare er en del av arbeidet med å utbedre svakheter i ny teknologi.

 

“Alle som kjenner til teknologi, vet at det er slik det gjøres”, sa han. “Det er bare de som er redde som setter seg ned og sier: ‘Åh, det fungerer ikke slik vi vil, så nå må vi bare stikke av fra alt sammen’. Jeg lever ikke på den måten.”

Stoyanovich kalte denne tilnærmingen “hensynsløs og uansvarlig”.

 

Forskere har lenge uttrykt bekymring for ulempene med slike store språkmodeller, som er trent på mengder av tekst hentet fra internett og har en tendens til å spytte ut svar som er unøyaktige og ulogiske.

 

Men i takt med at ChatGPT og andre chatboter har fått stor oppmerksomhet, har private selskaper lansert sine egne produkter, med blandede resultater. Tidligere denne måneden beordret en domstol Air Canada til å refundere en kunde etter at en av selskapets chatboter hadde gitt feilaktige opplysninger om flyselskapets retningslinjer for refusjon. Både TurboTax og H&R Block har nylig fått kritikk for å ha tatt i bruk chatboter som gir dårlige råd om skatteforberedelser.

 

Jevin West, professor ved University of Washington og en av grunnleggerne av Center for an Informed Public, sier at innsatsen er spesielt høy når modellene markedsføres av det offentlige.

 

“Det er et annet nivå av tillit som gis til myndighetene”, sier West.

 

“Offentlige tjenestemenn må vurdere hva slags skade de kan gjøre hvis noen følger disse rådene og havner i trøbbel.”

 

Eksperter sier at andre byer som bruker chatbots, vanligvis har begrenset dem til et mer begrenset sett med innspill, noe som reduserer risikoen for feilinformasjon.

 

Ted Ross, informasjonssjef i Los Angeles, sier at byen har nøye kontrollert innholdet som brukes av chatbotene, som ikke baserer seg på store språkmodeller.

 

Fallgruvene i New Yorks chatbot bør tjene som en advarsel for andre byer, mener Suresh Venkatasubramanian, direktør for Center for Technological Responsibility, Reimagination and Redesign ved Brown University.

 

“Det bør få byene til å tenke over hvorfor de ønsker å bruke chatbots, og hvilket problem de prøver å løse”, skriver han i en e-post. “Hvis chatbotene brukes til å erstatte en person, mister man ansvarsfølelsen samtidig som man ikke får noe igjen for det.”