Bloggpost

I vår tidigare guide, Så hyr du en GPU-server från Ring Compute med Vast.ai CLI, gick vi igenom hur du startar en instans på en av våra 8x RTX 5090-servrar och ansluter via SSH. Denna guide fortsätter där den slutade. Med din instans igång och en SSH-session öppen installerar vi Ollama, hämtar en Llama 3.1 8B-modell och konfigurerar OpenClaw — så att du får en helt privat, egenhostad AI-assistent driven av din egen GPU.

Vad är OpenClaw?

OpenClaw (tidigare känt som Clawdbot och Moltbot) är en självhostad AI-agent med öppen källkod. Till skillnad från en enkel chattbot kan OpenClaw köra skalkommandon, hantera filer, surfa på webben och ansluta till meddelandeplattformar som WhatsApp, Telegram och Slack. Verktyget är modellagnostiskt, vilket innebär att du kan använda moln-API:er eller en lokalt körande modell. I denna guide använder vi en lokal Llama-modell servad av Ollama — inga API-nycklar eller molnkostnader krävs.

Steg 1: Installera Ollama

Ollama är ett lättviktigt verktyg för att köra stora språkmodeller lokalt. Installera det med ett kommando:

curl -fsSL https://ollama.com/install.sh | sh

Verifiera installationen och starta tjänsten:

ollama -v

Ollama körs som en bakgrundstjänst och lyssnar på port 11434 som standard.

Steg 2: Hämta Llama 3.1 8B-modellen

Llama 3.1 8B är ett utmärkt val för en lokal assistent. Den stöder verktygsstyrning, har ett kontextfönster på 128K tokens och ryms bekvämt på ett enda GPU med cirka 5 GB VRAM. Hämta den med:

ollama pull llama3.1:8b

Du kan testa den interaktivt för att säkerställa att allt fungerar:

ollama run llama3.1:8b

Skriv ett meddelande och tryck Enter. Tryck Ctrl+D för att avsluta.

Steg 3: Öka kontextfönstret

Ollama använder som standard ett litet kontextfönster. OpenClaw fungerar bättre med ett större. Skapa en anpassad modell med 64K tokens:

cat <<'EOF' > ~/Modelfile-openclaw
FROM llama3.1:8b
PARAMETER num_ctx 65536
EOF

ollama create openclaw-llama -f ~/Modelfile-openclaw

Detta skapar en härledd modell som heter openclaw-llama som du kan referera till i OpenClaws konfiguration.

Steg 4: Installera OpenClaw

OpenClaw kräver Node.js 22 eller senare. Installera OpenClaw med den officiella installationsscriptet:

curl -fsSL https://openclaw.ai/install.sh | bash

Verifiera installationen:

openclaw --version

Steg 5: Konfigurera OpenClaw att använda Ollama

Kör introduktionsguiden för att konfigurera din gateway och ansluta den till Ollama:

export OLLAMA_API_KEY="ollama-local"
openclaw onboard --install-daemon

Under introduktionen väljer du Ollama som AI-leverantör. OpenClaw upptäcker automatiskt modeller som körs på localhost. Om du föredrar att konfigurera manuellt, redigera ~/.openclaw/openclaw.json och ange primärmodellen:

{ "agents": { "defaults": { "model": { "primary": "ollama/openclaw-llama" } } } }

Se till att använda den inbyggda Ollama API-URL:en (http://127.0.0.1:11434) utan /v1-suffix. Att använda den OpenAI-kompatibla endpointen kan orsaka problem med verktygsstyrning.

Steg 6: Öppna instrumentpanelen

OpenClaw kör en webbinstrumentpanel på port 18789. Eftersom vi kör på en fjärr-GPU-server, skapa en SSH-tunnel från din lokala dator:

ssh -N -L 18789:127.0.0.1:18789 -p PORT root@HOST

Öppna sedan http://127.0.0.1:18789/ i din webbläsare. Du kan hämta din autentiseringstoken med:

openclaw config get gateway.auth.token

Från instrumentpanelen kan du chatta med din modell, godkänna åtgärder, konfigurera meddelandekanaler och övervaka aktivitet — allt körs privat på din Ring Compute-server utan molnkostnader.