- Selbst hosten ändert die Abrechnung: Statt nach Tokens zahlt ihr nach Stunden. In unserem Test standen rund 30 $ berechnete API-Kosten 4 $ GPU-Miete gegenüber.
- Der Grafikspeicher entscheidet, wie viel Kontext ihr habt. Auf einer 48-GB-Karte reicht es für rund 200.000 Tokens Kontext pro Session, für die vollen 262.000 braucht ihr 80 GB.
- Cold Starts dauern real mehrere Minuten. Beim Pod waren es beim ersten Start 15 bis 20 Minuten, mit Serverless und Cache zuletzt rund 4 Minuten.
- Die Quantisierung entscheidet mit: Ab FP8 bzw. Q8 wird ein selbst gehostetes Modell auch für komplexeres Coding interessant. Unter Q4 würden wir nicht gehen.
- Der größte Vorteil ist für uns nicht der Preis, sondern die Kontrolle über Modell, Standort und Daten.
Ihr müsst keine teure Hardware kaufen, um ein eigenes Sprachmodell zu betreiben. Ihr könnt sie mieten. Wir haben bei RunPod eine NVIDIA H100 gemietet, darauf ein Qwen-Modell in unserer eigenen Docker-Umgebung gestartet und Claude Code dagegen laufen lassen. In einer Stunde Arbeit hätte das über die API rund 30 Dollar gekostet. Bezahlt haben wir 4 Dollar. Ganz so einfach, wie diese Rechnung klingt, ist es aber nicht: Grafikspeicher, Cold Starts und Modellqualität setzen klare Grenzen.
Was haben wir getestet?
Wir haben bei RunPod eine GPU gemietet. RunPod bietet fertige Templates, ihr könnt aber auch eigene Docker-Images und Setups verwenden. Nachdem wir Credits aufgeladen hatten, war die GPU in wenigen Klicks gemietet.
Unser Setup:
- Hardware: NVIDIA H100 mit 80 GB VRAM
- Modell: eine uncensored Variante von Qwen3.8-27B in FP8, in einer eigenen Docker-Umgebung
- Chat: OpenWebUI, damit ließen sich ganz normale Chats führen wie bei ChatGPT oder Claude
- Coding: Claude Code, angebunden über den Claude Code Router an unsere RunPod-Instanz
Getestet haben wir als Pod und als Serverless. Die Leistung war ähnlich, der Unterschied liegt in der Bereitstellung des Modells. Nach dem Start lief das Modell ohne Probleme.
Damit ihr euch das nicht mühsam selbst zusammensuchen müsst: Während der Recherche ist das Repo qwen-runpod-helper entstanden. Damit lässt sich ein uncensored Qwen mit wenigen Klicks betreiben, in zwei Ausbaustufen: als Pod oder Serverless. Die Doku dazu liegt im Repo.
Was hat der Test gekostet?
Die H100 hat in unserem Test rund 4 US-Dollar pro Stunde gekostet. In einem Zeitfenster von ungefähr einer Stunde hat Claude Code über den Claude Code Router etwa 140 Millionen Input-Tokens und 428.000 Output-Tokens erzeugt. Der Claude Code Router hat dafür rund 30 $ API-Kosten kalkuliert. Unsere realen Kosten lagen bei 4 $.
Der Grund: Selbst hosten verschiebt die Abrechnung von Tokens auf Stunden. Wie viele Tokens der Agent verbraucht, spielt dann keine Rolle mehr, solange die GPU läuft.
Stoppt ihr den Pod, fallen keine GPU-Kosten mehr an. Nur persistente Volumes kosten noch etwas, in unserem Fall 0,0006 $ pro Stunde.
Unsere Testwerte auf einen Blick:
| Unser Test | |
|---|---|
| GPU | NVIDIA H100, 80 GB VRAM, bei RunPod |
| Modell | Qwen3.8 (uncensored) in eigener Docker-Umgebung |
| Anbindung | Claude Code über Claude Code Router, OpenWebUI für Chats |
| Zeitfenster | ca. 1 Stunde |
| Tokens | ca. 140 Mio. Input, 428.000 Output |
| API-Kosten laut Claude Code Router | ca. 30 $ |
| Reale Kosten | ca. 4 $ (GPU-Miete pro Stunde) |
| Gestoppter Pod | 0,0006 $ pro Stunde für das persistente Volume |
| Quantisierung | Block-FP8 (E4M3), Blockgröße 128 × 128, dynamische Aktivierungen; gleiches Schema wie das offizielle Qwen3.8-27B-FP8 |
| Betrieb | als Pod und als Serverless, Leistung ähnlich |
| Cold Start | Pod: 15–20 Min. beim ersten Start; Serverless mit Cache: zuletzt ca. 4 Min. laut Logs |
Wie lange dauert ein Cold Start?
Länger, als man hofft, und beim Pod deutlich länger als bei Serverless. Beim Pod wird zuerst das Docker-Image gezogen, dann fährt der Container hoch, dann wird das Modell heruntergeladen und in den GPU-Speicher geladen. Beim ersten Start lag das in unserem Test bei 15 bis 20 Minuten.

Hier sticht Serverless mit seinem Cache klar hervor. In früheren Durchläufen vergingen real etwa 6 bis 7 Minuten, bis wir den ersten Prompt absetzen konnten. Zuletzt zeigen unsere Logs mit Qwen3.8-27B uncensored in FP8 rund 4 Minuten. Wer morgens sofort loslegen will, plant die Startzeit also besser ein.
Pod oder Serverless?
Neben einem dedizierten Pod könnt ihr inzwischen auch serverless eine vLLM-Schicht starten, wieder über Templates oder eigene Docker-Images. RunPod selbst beschreibt Pods als gute Wahl für das Training von Modellen und Serverless als einfache Möglichkeit, Modelle zu nutzen.
So funktioniert Serverless in der Praxis:
- Getrennte Clients: OpenWebUI und andere Clients laufen unabhängig vom GPU-Worker und greifen über einen OpenAI-kompatiblen RunPod-Endpunkt auf das Modell zu.
- Absicherung: Für die Authentifizierung braucht ihr einen RunPod API Key.
- Kosten: Bei ungleichmäßiger Nutzung kann Serverless deutlich günstiger sein. Stellt ihr die Worker auf 0, zahlt ihr bis zum ersten Prompt gar nichts.
- Warm-up: Ein dauerhaft aktiver Worker verkürzt die Wartezeit, kostet dann aber ganz normal wie ein Pod.
- Skalierung: Bei unerwarteter Last könnt ihr schnell neue Worker dazuschalten.
Pro Stunde ist Serverless allerdings teurer. Eine A40 mit 48 GB kostet bei RunPod als Serverless 1,29 $ pro Stunde, als Pod 0,59 $ (Stand Oktober 2026). Braucht ihr ohnehin einen dauerhaft laufenden Worker, kann es sich lohnen, ihn als Pod zu halten und bei Bedarf Serverless dazuzuschalten. Wir selbst nutzen trotzdem lieber Serverless: Wir haben einen festen Endpunkt, das Modell fährt bei Bedarf hoch und nach einer Leerlaufzeit wieder herunter, und wir müssen uns um nichts weiter Gedanken machen.
Pod und Serverless im Vergleich:
| Pod | Serverless | |
|---|---|---|
| Abrechnung | pro Stunde, solange der Pod läuft | Worker auf 0: nichts bis zum ersten Prompt; aktiver Worker kostet wie ein Pod |
| Preis A40 (48 GB), Stand Oktober 2026 | 0,59 $ pro Stunde | 1,29 $ pro Stunde |
| Wartezeit | beim ersten Start 15–20 Min. (Image ziehen, starten, Modell laden) | mit Cache zuletzt ca. 4 Min.; ein aktiver Worker verkürzt das Warm-up |
| Skalierung | eine feste GPU | bei Last schnell weitere Worker zuschalten |
| Zugriff | direkt auf die Instanz | OpenAI-kompatibler Endpunkt, abgesichert per RunPod API Key |
| Günstiger bei | durchgehender Nutzung | ungleichmäßiger Nutzung |
| Laut RunPod gedacht für | Training von Modellen | einfache Nutzung von Modellen |
Reicht eine 48-GB-GPU für Qwen?
Für einen Solo-Entwickler und kleinere Aufgaben ja. Der entscheidende Punkt ist der Kontext. Qwen3.8-27B hat ein natives Kontextfenster von rund 262.000 Tokens. Auf einer 48-GB-Karte kann das volle Modell aber nur rund 200.000 Tokens Kontext insgesamt für eine Session nutzen. Das heißt: Ihr arbeitet entweder mit vielen kleinen Chats und Refactorings oder mit einem großen.
Für den vollen Kontext von 262.000 Tokens braucht ihr 80 GB. Dann können auch etwa zwei Leute gleichzeitig damit arbeiten, oder ihr fahrt ein paar größere Refactorings. Braucht ihr mehrere Kontextfenster in dieser Größe, landet ihr schnell bei mehreren hundert GB VRAM.
| 48-GB-GPU | 80-GB-GPU | |
|---|---|---|
| Kontext | ca. 200.000 Tokens insgesamt pro Session | volle 262.000 Tokens |
| Nutzung | viele kleine Chats und Refactorings oder ein großes | ca. zwei Nutzer oder ein paar größere Refactorings |
| Passt für | Solo-Entwickler, kleinere Aufgaben | mehr Kontext oder zwei Nutzer parallel |
Für Aufgaben, bei denen wir sonst Opus nehmen würden, ist eine 48-GB-Karte zu knapp. Dann braucht ihr mehr GPU-Leistung, und die Kosten steigen so stark, dass sie kaum noch im Verhältnis zum Nutzen stehen. In dem Fall können transparente Anbieter wie Venice.ai oder OpenRouter interessanter sein.
Kommt Qwen an Claude heran?
Teilweise. Qwen3.8-27B ist für seine Modellgröße sehr leistungsfähig. Benchmarkwerte spiegeln aber selten die Realität wider. In unseren Tests schlägt sich Qwen bei Programmieranfragen bisher außerordentlich gut. Komplexere Pläne erstellen wir trotzdem weiter in Claude Code mit Opus. Spannend wird Qwen4: Wir hoffen, dass die nächste Generation wieder näher an die neueren Claude-Modelle heranrückt.
Wichtig ist die Quantisierung, also wie stark die Gewichte des Modells komprimiert sind. Unser Test lief in Block-FP8 (E4M3) mit 128 × 128 Blöcken und dynamischen Aktivierungen, also im selben Schema wie das offizielle Qwen3.8-27B-FP8.
FP8 und Q8 sind beide 8-Bit-Formate mit einem Byte pro Gewicht. FP8 ist speziell auf Nvidia-Grafikkarten ausgelegt, Q8 ist breiter verbreitet, etwa über das GGUF-Format. Ab FP8 bzw. Q8 wird ein selbst gehostetes Modell auch für komplexere Coding-Aufgaben interessant. Grundsätzlich gilt: je höher, desto besser. Unter Q4 würden wir nicht gehen, und schon unterhalb von FP8/Q8 finden wir Abos bald die bessere Wahl.
RunPod oder Vast.ai?
Vast.ai verfolgt einen ähnlichen Ansatz wie RunPod, funktioniert aber eher wie ein Marktplatz. Dadurch gibt es mal günstigere, mal teurere Angebote.
Bei sensiblen oder produktiven Workloads sollte aber nicht nur der Preis entscheiden, sondern auch Verfügbarkeit, Standort und Qualität. Nach unserer bisherigen Erfahrung sticht RunPod hier besser hervor, gerade bei der Verfügbarkeit. Außerdem könnt ihr bei RunPod Regionen ausschließen oder bevorzugen und so zum Beispiel nur EU- oder deutsche Rechenzentren nutzen.
Warum überhaupt eine eigene KI?
Für uns ist die Datensicherheit der größere Vorteil gegenüber reinen Abo-Modellen. Wir kontrollieren das Modell, die Inference-Umgebung, die Logs, die angebundenen Dienste und das Speicherverhalten.
Ein netter Nebeneffekt: Ihr könnt uncensored Modelle nutzen und seid im System-Prompt freier. Es gibt kein „Das darfst du nicht“ mehr und keinen Wechsel zu einem anderen Modell, weil eine Anfrage als gefährlich eingestuft wird. Das hilft zum Beispiel bei Security-Reviews.
„Own Your AI“ heißt für uns deshalb vor allem: Wir wählen selbst die Hardware, den Standort und was mit unseren Daten passiert.
Fazit: Für wen lohnt sich das?
Eine gemietete GPU ist ein guter Weg, ein eigenes Modell auszuprobieren, ohne Hardware zu kaufen. Für einen Solo-Entwickler mit kleineren Aufgaben kann eine 48-GB-Karte reichen, und die Abrechnung nach Stunden kann deutlich günstiger sein als nach Tokens. Ihr müsst aber Cold Starts von mehreren Minuten einplanen, auch mit Serverless und Caching, beim Kontext mit dem Grafikspeicher haushalten und auf stark quantisierte Modelle verzichten. Für anspruchsvolle Aufgaben bleiben Abos oder Anbieter wie OpenRouter und Venice.ai oft die wirtschaftlichere Wahl. Wer vor allem Kontrolle über Daten und Standort will, findet im Selbsthosten den klareren Vorteil.
Wenn ihr so ein Setup ausprobieren wollt, aber im Team gerade die Zeit fehlt, verstärkt OneCode euch temporär mit AI-nativen Senior-Entwicklern aus Deutschland, direkt in eurem Repo und euren Sprints. Kostenloses Erstgespräch buchen
Mehr zum Thema: Was ist Claude Code? · Agentic Coding vs. Normal Coding
Häufige Fragen
Kann ich Claude Code mit einem selbst gehosteten Modell nutzen?
Ja. Über den Claude Code Router lässt sich Claude Code an ein eigenes Modell auf einer gemieteten GPU anbinden. Wir haben das mit Qwen auf einer H100 bei RunPod getestet.
Was kostet eine gemietete GPU bei RunPod?
Die H100 mit 80 GB kostete in unserem Test rund 4 US-Dollar pro Stunde. Eine A40 mit 48 GB liegt als Pod bei 0,59 $ und als Serverless bei 1,29 $ pro Stunde (Stand Oktober 2026). Ist der Pod gestoppt, zahlt ihr nur noch für persistente Volumes, in unserem Fall 0,0006 $ pro Stunde.
Wie viel VRAM brauche ich für Qwen3.8-27B?
Auf einer 48-GB-Karte stehen rund 200.000 Tokens Kontext pro Session zur Verfügung. Für die vollen 262.000 Tokens braucht ihr 80 GB, dann können auch etwa zwei Leute parallel arbeiten.
Wie lange dauert ein Cold Start?
Beim ersten Start eines Pods in unserem Test 15 bis 20 Minuten, weil erst das Docker-Image gezogen und das Modell heruntergeladen wird. Mit Serverless und Cache zuletzt rund 4 Minuten.
Taugen quantisierte Modelle für die Softwareentwicklung?
Ab FP8 bzw. Q8 auch für komplexere Coding-Aufgaben. Je höher die Präzision, desto besser. Unter Q4 würden wir nicht gehen, und unterhalb von FP8/Q8 sind Abos meist die bessere Wahl.




