Hva er Google CALM og fungerer det?

Publisert

desember 20, 2022

Bjørn Johansen

Google har annonsert en banebrytende teknologi kalt CALM som øker hastigheten på store språkmodeller (som GPT-3 og LaMDA) uten at det går ut over ytelsesnivåene. LaMDA er Googles svar på ChatGpt, og er i følge de som har prøvd den mer sofistikert.

Store språkmodeller (LargeLanguageModels) trener på store mengder data.

Opplæring av språkmodellene på større datamengder resulterer i at modellen lærer nye evner som ikke alltid er planlagt.

Men det er velkjent at oppskalering av datamengden for trening av maskinen gjør det mulig å få flere evner.

Prinsip for CALM teknologien

Ulempen med å skalere opp treningsdataene er at det tar mer beregningskraft å produsere en utgang, noe som gjør AI tregere på det tidspunktet den genererer en tekst.

Så avveiningen med å gjøre en AI smartere med mer data er at AI samtidig også blir tregere.

Googles nye forskningsartikkel beskriver konseptet slik:

«Nylige fremskritt innen Transformer-baserte store språkmodeller (LLM) har ført til betydelige ytelsesforbedringer på tvers av mange oppgaver.

Confident Adaptive Language Modeling

rygg adaptiv språkmodellering (CALM)

Forskere ved Google kom over en interessant løsning for å øke hastigheten på språkmodellene samtidig som de opprettholdt høy ytelse.

Løsningen, for å lage en analogi, er noe som forskjellen mellom å svare på et enkelt spørsmål og løse et vanskeligere.

CALM fungerer ved å dynamisk tildele ressurser avhengig av kompleksiteten til den enkelte del av oppgaven, ved hjelp av en algoritme for å forutsi om noe trenger full eller delvis ressurser.

Forskningen viser at de testet det nye systemet for ulike naturlige språkbehandlingsoppgaver («tekstoppsummering, maskinoversettelse og spørsmålssvar») og oppdaget at de var i stand til å øke hastigheten på svar med omtrent en faktor på tre (300%).

Når det er mulig, hopper CALM over litt databehandlingsinnsats for visse spådommer. For å demonstrere dette bruker vi den populære koder-dekoderen T5-arkitekturen. Koderen leser inndatateksten (f.eks. en nyhetsartikkel for å oppsummere) og konverterer teksten til tette representasjoner. Deretter sender dekoderen ut sammendraget ved å forutsi det ord for ord. Både koderen og dekoderen inkluderer en lang sekvens av Transformer-lag.
Tal Schuster, Forsker, Google Research

Denne forskningen er viktig fordi den åpner døren for å skape mer komplekse AI-modeller som er trent på vesentlig større datasett uten å oppleve lavere hastighet samtidig som det opprettholder et høyt ytelsesnivå.

Likevel kan det være mulig at denne metoden også kan være til nytte for store språkmodeller som også er opplært på mindre data.

For eksempel er ChatGPT trent på omtrent 1,3 milliarder parametere.

Forskningen ble publisert på Googles AI-blogg desember 16, 2022.

Det vil være interessant å se om denne teknologien gjør det til store språkmodeller i nær fremtid.