Slik kjører du en norsk språkmodell på Mac

Rett før jul slapp Nasjonalbiblioteket sin AI lab deres første offentlig «GPT-aktige» språkmodell på Hugging Face. Modellen heter Borealis og er en liten (4 milliarder parametre) modell som er finjustert for å forstå og svare på norsk, både i tekst og samtaleform.

Teknisk sett er Borealis 4B Instruct bygget på toppen av Googles Gemma 3 4B, men etterpå har den blitt finjustert på en norsk tekstsamling fra Nasjonalbiblioteket. Det betyr at den har lært seg norsk språk, kultur og måte å kommunisere på. Det skal, i teorien, gjøre at den kan svare mer naturlig og nyttig på norsk enn generelle modeller som GPT 5, Gemini osv. Modellen er publisert som en tidlig testversjon laget for å gi Nasjonalbiblioteket erfaringer og tilbakemeldinger, ikke som en ferdig «production ready» modell. Man må med andre ord bruke denne modellen med varsomhet enn så lenge.

Borealis er tilgjengelig i en MLX-versjon som betyr at den finnes i en versjon spesielt tilpasset moderne Macer. MLX er Apples egne maskinlæringsverktøy for Apple Silicon som skal gjøre det enklere og raskere å kjøre rett på Mac, iPhone og iPad. Enkelt forklart betyr det at du kan kjøre relativt store modeller lokalt på Macen din (så lenge den har nok minne) uten at du trenger å ha egne GPU-er. Siden Borealis finnes i en MLX-versjon kan den kjøres lokalt på Macen din med god ytelse, lite strømforbruk og full kontroll over hvor dataene lagres.

For å gjøre dette enkelt og brukervennlig, trenger du LMStudio, Olama eller Osaurus som er grensesnitt for AI-modeller på Macen. Min personlige anbefaling er Osaurus siden dette er en moderne native Mac-app og ikke en minnespisende, lite tilpasset webapp tvunget inn i et skall av en Mac-app (Electron) som LMStudio og Olama er.

Slik kommer du i gang

Du trenger en moderne Mac (med M1 eller bedre prosessor) og minimum 16GB minne. Helst mer.

1. Last ned https://osaurus.ai

2. Gå til Settings > Models

3. Lim inn URLen til Borealis MLX-versjonen fra Huggingface https://huggingface.co/NbAiLab/borealis-4b-instruct-preview-mlx i «Search models»

4. Trykk på «Download» og vent til modellen har lastet ned. Ca. 4.5GB.
   

5. Deretter, i chat-grensesnittet, velger du Borealis fra model-velgeren.
   

6. Prat i vei med en ganske så kapabel norsk språkmodell

Modellen kjører nå lokalt på Macen din som betyr null kostnader, null datadeling og 100% personvern. Med Osaurus kan du også laste ned mange andre modeller og kjøre disse lokalt.