Ollama Guide

Hvad er Ollama

Ollama er en open source-runtime der pakker sprogmodeller ind i containere du kan trække ned og køre med én kommando. Projektet er skrevet i Go og bygger oven på llama.cpp, som håndterer selve inference-arbejdet. Ollama tilføjer et brugervenligt CLI, en model-registry og en HTTP-API der matcher OpenAIs format tæt nok til at fungere som drop-in erstatning i mange applikationer.

Modellerne kører direkte på din CPU eller GPU. Der sendes ingen data til eksterne servere, hvilket gør Ollama velegnet til fortrolige dokumenter, medicinske data, kildekode med intellectual property eller andre situationer hvor du ikke kan sende input til OpenAI eller Anthropic.

Ollama understøtter over 100 modeller ud af boksen, herunder Metas Llama 3.1 og 3.2, Mistrals Mixtral, Alibabas Qwen 2.5, Googles Gemma og specialiserede kode-modeller som DeepSeek Coder og CodeStral.

Installation

På macOS installerer du Ollama via en pakke fra ollama.com eller via Homebrew. På Linux bruger du et script, og på Windows er der en officiel installer.

# macOS via Homebrew
brew install ollama

# Linux
curl -fsSL https://ollama.com/install.sh | sh

# Windows
# Download installer fra ollama.com/download

Efter installation starter du serveren med ollama serve. På Mac starter tjenesten typisk automatisk. Din første model henter du med ollama pull, og du kan chatte direkte med den via ollama run.

ollama pull llama3.1:8b
ollama run llama3.1:8b "Forklar transformer-arkitekturen"

Anbefalede modeller og hardware-krav

Model-størrelse måles i antal parametre (fx 8B = 8 milliarder). Grundreglen er at du skal have RAM eller VRAM svarende til modellens filstørrelse plus lidt overhead. En 8B-model i 4-bit kvantisering fylder cirka 5 GB, mens en 70B-model fylder omkring 40 GB.

På en MacBook Pro med M-serie chip er unified memory afgørende. En M2 Max eller M3 Max med 64 GB kan køre 70B-modeller i acceptabel hastighed takket være høj hukommelsesbåndbredde. På PC med Nvidia GPU er VRAM den begrænsende faktor, og en RTX 4090 med 24 GB kan håndtere op til 14B-modeller uden at sende lag over til CPU.

Ollama som API

Ollama eksponerer en HTTP-API på port 11434. Formatet ligner OpenAIs Chat Completions, så eksisterende SDK'er kan pege på Ollama ved at ændre base URL.

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:11434/v1",
    api_key="ollama"  # dummy-nøgle, kræves af SDK
)

response = client.chat.completions.create(
    model="llama3.1:8b",
    messages=[
        {"role": "user", "content": "Skriv en Python-funktion der beregner Fibonacci"}
    ]
)
print(response.choices[0].message.content)

Det betyder at frameworks som LangChain, LlamaIndex og de fleste GUI-klienter (fx OpenWebUI, LibreChat, Msty) kan tale direkte med din lokale Ollama-instans uden ændringer. Du kan også køre Ollama på en central server i dit lokale netværk og lade flere brugere dele modellerne.

Hvornår giver Ollama mening

Begrænsninger

Selv de bedste åbne modeller ligger stadig efter frontier-modellerne fra OpenAI, Anthropic og Google på reasoning og lange context windows. Llama 3.1 70B scorer omkring 82% på MMLU, mens GPT-5 og Claude Sonnet 4.5 ligger over 88%. På kompleks matematik og videnskabelig reasoning er forskellen endnu større.

Latency er også en faktor. En 70B-model på en M3 Max leverer typisk 8-15 tokens i sekundet, hvor GPT-5 via API leverer 40-80 tokens i sekundet. For interaktive applikationer med lange svar mærkes forskellen tydeligt.

Multimodalitet er begrænset. Ollama understøtter vision-modeller som Llava og Llama 3.2 Vision, men kvaliteten matcher ikke GPT-5 Vision eller Claude Sonnet 4.5 på komplekse billeder. Til lyd- og video-input er cloud-modellerne stadig det eneste realistiske valg.