Små, spesialiserte språkmodeller er et praktisk supplement til store kommersielle modeller. Denne siden forklarer hvordan Borealis og lignende norske modellspor kan gi høy nytte i reelle arbeidsprosesser.
Nasjonalbiblioteket utvikler Borealis som en serie åpne språkmodeller for norsk og samisk. Modellene bygger videre på Gemma-familien, lanseres i flere størrelser med åpen lisens, og kan fintrenes og driftes på egen infrastruktur.
Små modeller er godt egnet for klassifisering, NER for norske navn, sentimentanalyse, oppsummering og uttrekk av nøkkelinformasjon.
De er også nyttige for oversettelse mellom bokmål og nynorsk, og på sikt mellom norske og samiske språkressurser.
Fintrente modeller kan bli svært presise innen jus, helse, offentlig forvaltning, finans og teknisk dokumentasjon.
Når språkmodellen trenes på relevant fagspråk, øker treffsikkerhet og nytte i daglige arbeidsprosesser.
Lokal drift gjør det mulig å behandle sensitive data uten å sende informasjon til utenlandske skytjenester.
Dette er særlig relevant for helsesektor, rettsvesen, forsvar, offentlig sektor og kritisk infrastruktur.
Små modeller har lavere driftskostnad og responstid, noe som gjør dem egnet for høyvolumoppgaver som tagging, metadata-generering og batch-prosessering av store tekstsamlinger.
De passer også godt i chatboter, kundeservice og produkter der eksterne API-kall blir for dyrt eller for tregt.
Spørsmålsomskriving, reranking og svarvalidering på norsk før endelig respons sendes til brukeren.
Ruting av forespørsler, verktøyvalg og enkel resonnering i flertrinns systemer med krav om rask respons.
Kontroll av språkføring, klart språk og målform for bokmål og nynorsk i generert tekst.
De minste modellvariantene kan kjøres lokalt på bærbare maskiner, arbeidsstasjoner og enkelte mobile enheter. Dette gjør løsningene mer robuste i felt, ved ustabil nettilgang eller i isolerte miljøer.
Samtidig gir små modeller betydelig lavere energiforbruk per forespørsel enn svært store modeller, og kan derfor være et mer bærekraftig valg når oppgaven ikke krever en generell frontier-modell.
Borealis og andre små, spesialiserte norske språkmodeller er ikke en erstatning for alle store modeller. De fyller en komplementær rolle: skreddersydd språkstøtte, lokal kontroll, lavere kostnad og raskere drift i mange praktiske anvendelser.