Generativ kunstig intelligens og operativ maskinlæring spiller en avgjørende rolle i det moderne datalandskapet ved å gjøre det mulig for organisasjoner å utnytte dataene sine til å skape nye produkter og øke kundetilfredsheten. Disse teknologiene brukes blant annet til virtuelle assistenter, anbefalingssystemer og innholdsgenerering. De hjelper organisasjoner med å skape konkurransefortrinn gjennom datadrevet beslutningstaking, automatisering, forbedrede forretningsprosesser og kundeopplevelser.

Apache Airflow er kjernen i mange ML-team, og med nye integrasjoner for Large Language Models (LLM) gjør Airflow det mulig for disse teamene å bygge applikasjoner av produksjonskvalitet med de nyeste fremskrittene innen ML og AI.

Forenkler ML-utvikling

Altfor ofte skapes maskinlæringsmodeller og prediktive analyser i siloer, langt unna produksjonssystemer og -applikasjoner. Organisasjoner står overfor en evig utfordring når de skal forvandle en dataforskers notatbok til en produksjonsklar applikasjon med stabilitet, skalering, samsvar osv.

Organisasjoner som standardiserer på én plattform for å orkestrere både DataOps- og MLOps-arbeidsflyten, kan imidlertid ikke bare redusere friksjonen ved ende-til-ende-utvikling, men også infrastrukturkostnader og IT-spredning. Selv om det kan virke kontraintuitivt, drar disse teamene også nytte av flere valgmuligheter. Når den sentraliserte orkestreringsplattformen, som Apache Airflow, er åpen kildekode og inkluderer integrasjoner til nesten alle dataverktøy og -plattformer, kan data- og ML-teamene velge de verktøyene som fungerer best for deres behov, samtidig som de kan dra nytte av fordelene ved standardisering, styring, forenklet feilsøking og gjenbrukbarhet.

Apache Airflow og Astro (Astronomers fullt administrerte Airflow-orkestreringsplattform) er stedet der dataingeniører og ML-ingeniører møtes for å skape forretningsverdi fra operasjonell ML. Med et enormt antall datatekniske rørledninger som kjører på Airflow hver dag på tvers av alle bransjer og sektorer, er det arbeidshesten i moderne datadrift, og ML-team kan bruke dette fundamentet ikke bare til å utlede modeller, men også til opplæring, evaluering og overvåking.

Optimalisering av luftstrømmen for forbedrede ML-applikasjoner

Etter hvert som organisasjoner fortsetter å finne måter å utnytte store språkmodeller på, blir Airflow stadig viktigere for operasjonalisering av ting som ustrukturert databehandling, RAG (Retrieval Augmented Generation), tilbakemeldingsbehandling og finjustering av grunnmodeller. For å støtte disse nye bruksområdene og gi et utgangspunkt for Airflow-brukere har Astronomer samarbeidet med Airflow-fellesskapet for å skape Ask Astro – en offentlig referanseimplementering av RAG med Airflow for dialogbasert AI.

Astronomer har også ledet utviklingen av nye integrasjoner med

vektordatabaser og LLM-leverandører for å støtte denne nye typen applikasjoner og rørledningene som er nødvendige for å holde dem trygge, oppdaterte og håndterbare.