Meta har introdusert Llama 3, neste generasjon av sin toppmoderne open source-modell for store språk (LLM). Teknologigiganten hevder at Llama 3 setter nye standarder for ytelse og overgår tidligere bransjeledende modeller som GPT-3.5 i virkelige scenarier.
“Med Llama 3 har vi satt oss fore å bygge de beste åpne modellene som er på høyde med de beste proprietære modellene som er tilgjengelige i dag”, skriver Meta i et blogginnlegg i forbindelse med lanseringen.
De første Llama 3-modellene som åpnes opp, er versjoner med 8 milliarder og 70 milliarder parametere. Meta sier at teamene fortsatt jobber med å trene opp større modeller med mer enn 400 milliarder parametere, som vil bli lansert i løpet av de kommende månedene, sammen med forskningsartikler som beskriver arbeidet.
Arbeidet med Llama 3 har pågått i over to år, og betydelige ressurser har gått med til å samle inn treningsdata av høy kvalitet, skalere opp distribuert trening, optimalisere modellarkitekturen og innovative tilnærminger til finjustering av instruksjoner.
Metas finjusterte instruksjonsmodell med 70 milliarder parametere overgikk GPT-3.5, Claude og andre LLM-modeller av sammenlignbar størrelse i evalueringer av mennesker i 12 viktige bruksscenarier som koding, resonnering og kreativ skriving. Selskapets forhåndsinnstilte modell med 8 milliarder parametere setter også nye standarder for populære LLM-evalueringsoppgaver:
“Vi mener at dette er de beste open source-modellene i sin klasse, punktum”, uttaler Meta.
Teknologigiganten lanserer modellene via en “open by default”-tilnærming for å fremme et åpent økosystem rundt AI-utvikling. Llama 3 vil være tilgjengelig hos alle større skyleverandører, modellverter, maskinvareprodusenter og AI-plattformer.
Victor Botev, teknologidirektør og medgrunnlegger av Iris.ai, sier: “Med det globale skiftet mot AI-regulering er lanseringen av Metas Llama 3-modell bemerkelsesverdig. Ved å omfavne åpenhet gjennom åpen kildekode er Meta på linje med den økende vektleggingen av ansvarlig AI-praksis og etisk utvikling.
“I tillegg gir dette mulighet for bredere samfunnsopplæring, ettersom åpne modeller gjør det lettere å få innsikt i utviklingen og muligheten til å granske ulike tilnærminger, og denne åpenheten kan brukes i utarbeidelsen og håndhevelsen av regelverket.”
Sammen med Metas nyeste modeller følger en oppdatert pakke med AI-sikkerhetsverktøy, inkludert den andre versjonen av Llama Guard for risikoklassifisering og CyberSec Eval for vurdering av potensielt misbruk. En ny komponent, Code Shield, har også blitt introdusert for å filtrere forslag til usikker kode på inferenstidspunktet.
“Det er imidlertid viktig å beholde perspektivet – at en modell er åpen kildekode er ikke automatisk ensbetydende med etisk AI”, fortsetter Botev. “For å løse AI-utfordringene kreves det en helhetlig tilnærming til problemstillinger som personvern, algoritmisk skjevhet og samfunnsmessige konsekvenser – alle viktige fokusområder i nye AI-reguleringer over hele verden.
“Selv om åpne initiativer som Llama 3 fremmer gransking og samarbeid, er den virkelige effekten avhengig av en helhetlig tilnærming til overholdelse av AI-regelverket og integrering av etikk i AI-systemers livssyklus. Metas videre arbeid med Llama-modellen er et skritt i riktig retning, men etisk AI krever et vedvarende engasjement fra alle interessenter.”
Meta sier at de har tatt i bruk en “systemnivåtilnærming” til ansvarlig AI-utvikling og -distribusjon med Llama 3. Selv om modellene har gjennomgått omfattende sikkerhetstesting, understreker selskapet at utviklere bør implementere sin egen input/output-filtrering i tråd med applikasjonens krav.
Selskapets sluttbrukerprodukt som integrerer Llama 3, er Meta AI, som Meta hevder nå er verdens ledende AI-assistent takket være de nye modellene. Brukerne kan få tilgang til Meta AI via Facebook, Instagram, WhatsApp, Messenger og nettet for produktivitet, læring, kreativitet og generelle spørsmål.
Multimodale versjoner av Meta AI som integrerer synsfunksjoner er på vei, og en tidlig forhåndsvisning kommer til Metas Ray-Ban-smartbriller.
Til tross for de betydelige prestasjonene til Llama 3 har noen i AI-feltet uttrykt skepsis til Metas motivasjon for å være en åpen tilnærming “til samfunnets beste”.
