Databricks har kunngjort lanseringen av DBRX, en ny, kraftig stor språkmodell med åpen kildekode som ifølge selskapet setter en ny standard for åpne modeller ved å overgå etablerte alternativer som GPT-3.5 i bransjetester.

Ifølge selskapet overgår DBRX-modellen med 132 milliarder parametere populære LLM-er med åpen kildekode som LLaMA 2 70B, Mixtral og Grok-1 på tvers av språkforståelses-, programmerings- og matematikkoppgaver. Den overgår til og med Anthropics modell Claude med lukket kildekode på visse benchmarks.

DBRX viste topp ytelse blant åpne modeller på kodingsoppgaver, og slo spesialiserte modeller som CodeLLaMA til tross for at den er en generell LLM. Den matchet eller overgikk også GPT-3.5 på nesten alle evaluerte benchmarks.

De toppmoderne egenskapene kommer takket være en mer effektiv “mixture-of-experts”-arkitektur som gjør DBRX opptil to ganger raskere til å trekke slutninger enn LLaMA 2 70B, til tross for at den har færre aktive parametere. Databricks hevder at opplæringen av modellen også var rundt to ganger mer beregningseffektiv enn tette alternativer.

“DBRX setter en ny standard for LLM-modeller med åpen kildekode – den gir bedrifter en plattform for å bygge tilpassede resonneringsfunksjoner basert på egne data”, sier Ali Ghodsi, medgrunnlegger og administrerende direktør i Databricks.

DBRX ble forhåndstrenet på hele 12 billioner tokens med “nøye kuraterte” tekst- og kodedata som ble valgt ut for å forbedre kvaliteten. Den utnytter teknologier som rotasjonsposisjonskoding og læreplanlæring under pretraining.

Kunder kan samhandle med DBRX via API-er eller bruke selskapets verktøy til å finjustere modellen på egne data. Den er allerede integrert i Databricks’ AI-produkter.

“Undersøkelsen vår viser at bedrifter planlegger å bruke halvparten av AI-budsjettene sine på generativ AI”, sier Dave Menninger, administrerende direktør i Ventana Research, en del av ISG. “En av de tre største utfordringene de står overfor, er datasikkerhet og personvern.

 

“Med sin end-to-end Data Intelligence Platform og introduksjonen av DBRX gjør Databricks det mulig for bedrifter å bygge generative AI-applikasjoner som er styrte, sikre og skreddersydde til virksomhetens kontekst, samtidig som de beholder kontrollen og eierskapet til sin IP underveis.”

Partnere som Accenture, Block, Nasdaq, Prosus, Replit og Zoom lovpriste DBRX’ potensial til å akselerere bedriftenes bruk av åpne, tilpassede, store språkmodeller. Analytikere mener at det kan føre til et skifte fra lukket til åpen kildekode, ettersom finjusterte åpne modeller kan matche proprietær ytelse.

 

Mike O’Rourke, leder for AI og datatjenester hos NASDAQ, kommenterer: “Databricks er en viktig partner for Nasdaq på noen av våre viktigste datasystemer. De fortsetter å være ledende i bransjen når det gjelder datahåndtering og bruk av kunstig intelligens, og vi er glade for lanseringen av DBRX.

“Kombinasjonen av sterk modellytelse og gunstig driftsøkonomi er den typen innovasjon vi er ute etter når vi øker bruken av generativ AI hos Nasdaq.”