Mit dem ersten realen Nutzeransturm wird aus einem funktionierenden KI-Modell eine Infrastrukturaufgabe. Baseten betreibt eine Plattform, die trainierte Modelle in Produktivsysteme bringt. Inferenz ist das Ausführen eines trainierten Modells, um auf eine Anfrage eine Vorhersage oder Antwort zu erzeugen.
Im laufenden Betrieb müssen Modellleistung, Antwortzeit und Kosten zusammenpassen, auch wenn die Nachfrage stark schwankt. Ein gutes Modell allein macht noch kein zuverlässiges Produkt. Für machine learning in production zählt auch, ob die technische Umgebung Anfragen beständig bedienen kann.
Diese Fallstudie betrachtet Hardware, Software und Kapazitätsplanung. Sie ordnet ein, welche Herausforderung der Produktivbetrieb löst und welche Möglichkeiten die Plattform dafür bietet.
Die wichtigsten Punkte
- Inferenz führt ein trainiertes Modell für neue Anfragen aus.
- Produktionsfähigkeit hängt nicht allein von der Modellleistung ab.
- Antwortzeit, Kosten und wechselnde Nachfrage gehören zusammen.
- Baseten unterstützt den Betrieb proprietärer und offener Modelle.
- Hardware, Software und flexible Kapazität prägen den Produktivbetrieb.
Was ist Baseten und welches Inferenzproblem löst es?
Baseten übernimmt den Betrieb und die Bereitstellung eines trainierten Modells, nicht die Rolle des Modells selbst. Die Plattform hilft, Inferenz als laufenden Dienst bereitzustellen. Der Unterschied liegt zwischen dem Erstellen eines Modells und dessen Einsatz für echte Anfragen.
Baseten konzentriert sich auf Inferenz und Deployment, nicht auf Modelltraining. Teams können fertige Model APIs nutzen oder eigene Modelle in dedizierten Deployments betreiben.
Die Plattform stellt den Betrieb bereit, sie ersetzt weder das Modell noch dessen Training.
Inferenz statt Modelltraining
Beim Training passt ein System Modellparameter anhand von Beispieldaten an. Der Prozess kann große Datenmengen und viele Rechenschritte erfordern. Bei der Inferenz verarbeitet das fertige Modell eine Anfrage und erzeugt eine Vorhersage oder Antwort.
Diese Aufgaben haben andere technische Anforderungen. Training verändert das Modell; Inferenz nutzt ein bestehendes Modell im Produkt. Ein Startup kann daher ein Modell selbst trainieren oder ein offenes Modell wählen, ohne den Betrieb der Inferenz selbst aufzubauen.
Die Plattform unterstützt proprietäre Modelle und Open-Source-Modelle. Verfügbare Model APIs umfassen DeepSeek V3, DeepSeek R1 und Llama 4 Maverick. Außerdem lassen sich Modelle wie Gemma und Llama bereitstellen.
APIs und eigene Modelle bereitstellen
Eine Model API bietet einen fertigen Zugang zu einem Modell. Kunden senden Anfragen über eine Programmierschnittstelle und erhalten Antworten zurück. Ein eigenes Deployment richtet sich dagegen an Teams, die ein kundenspezifisches Modell betreiben oder mehr Kontrolle über die Umgebung brauchen.
Truss ist die Open-Source-Bibliothek zum Verpacken und Bereitstellen von Modellen. Sie hilft, ein Modell samt nötigen Bestandteilen für den Einsatz vorzubereiten. Damit entsteht ein Weg vom eigenen Modell zur laufenden Bereitstellung, ohne dass eine Model API genutzt werden muss.
Bei finanziellen Angaben wird eine Nennung von 150 Millionen US-Dollar als undatierte Finanzierungsangabe geführt. Sie belegt keinen aktuellen Finanzierungsstand. Auch Aussagen zu Baseten CEO, Baseten founder oder den Kunden lassen sich daraus nicht ableiten.
Mit der Wahl zwischen API und eigenem Deployment stellt sich die Frage, wie Hardware und Software die Ausführung beschleunigen.
Wie verbinden sich GPUs und Software für schnelle Inferenz?
Für die Inferenz großer Sprachmodelle reicht ein leistungsfähiger Chip allein nicht, die Software muss ihn passend auslasten. Baseten kombiniert dafür verschiedene GPUs und Werkzeuge. Die passende Kombination beeinflusst, wie viele Anfragen ein System verarbeitet und wie schnell Antworten beginnen.
Hardware und Software müssen zum Modell und zum Einsatz passen. Die verfügbare Auswahl reicht von NVIDIA T4 bis zu A4-VMs mit NVIDIA Blackwell und HGX B200.
Von T4-GPUs bis zu NVIDIA Blackwell
Baseten nutzt A4-VMs auf Google Cloud, die auf NVIDIA Blackwell und HGX B200 beruhen. Google Cloud ordnet diese Systeme seinem AI Hypercomputer zu. Für eigene Modelle sind auch dedizierte Deployments mit NVIDIA B200 verfügbar.
Die GPUs unterscheiden sich in Leistung und Einsatzrahmen. Eine NVIDIA T4 kann für andere Anforderungen passen als eine B200-Umgebung. Die konkrete Wahl richtet sich unter anderem nach Modellgröße und erwartetem Anfrageaufkommen.
Die Zusammenarbeit rund um Baseten Nvidia umfasst NVIDIA-Hardware und Software für den Modellbetrieb. Sie ist kein einzelnes Produkt, sondern eine technische Verbindung verschiedener Bausteine. Angaben zu Baseten careers oder einem Baseten LinkedIn-Profil belegen für sich keine offenen Stellen oder bestimmte Unternehmensdaten.
Frameworks und Optimierungen für Modellbetrieb
Der Software-Stack umfasst NVIDIA Dynamo, TensorRT-LLM, SGLang und vLLM. Baseten nutzt TensorRT-LLM, um kundenspezifische große Sprachmodelle zu optimieren und zu kompilieren. Dadurch lässt sich die Ausführung an die gewählte GPU und das Modell anpassen.
Drei genannte Optimierungen greifen an verschiedenen Stellen des Betriebs ein:
- Kernel Fusion fasst Rechenschritte zusammen und kann den Durchsatz verbessern.
- Speicherhierarchie-Optimierung nutzt den GPU-Speicher gezielter und kann größere Kontexte unterstützen.
- Eigene Attention-Kernels beschleunigen zentrale Modellschritte und können Zeit bis zum ersten Token oder Batch-Größe beeinflussen.
Durchsatz beschreibt die Zahl der verarbeiteten Tokens über einen Zeitraum. Die Zeit bis zum ersten Token misst, wie lange eine Anfrage bis zur ersten Ausgabe wartet. Eine höhere Batch-Größe verarbeitet mehrere Anfragen gemeinsam, braucht aber passende Ressourcen.
Die Software kann so auf kurze Wartezeiten oder hohe Auslastung ausgerichtet werden. Von diesen technischen Bausteinen führt der Weg zur Frage, welche messbaren Verbesserungen die Kombination tatsächlich bringt.
Welche Leistungs- und Kostenvorteile sind belegt?
Die Fallstudie nennt unterschiedliche Zugewinne für durchsatzstarke und latenzsensitive Inferenz. Mit Google Cloud A4-VMs und NVIDIA Blackwell erreicht Baseten beim Kosten-Leistungs-Verhältnis verschiedene Werte. Die Bedingungen zählen, denn die Ergebnisse gelten für konkrete Modelle und Betriebsarten.
Die Prozentwerte sind getrennte Vergleiche und keine einheitliche Beschleunigung. Hoher Durchsatz und niedrige Latenz messen verschiedene Ziele.
Hoher Durchsatz und niedrige Latenz unterscheiden
Bei einer durchsatzstarken Inferenz bearbeitet ein System viele Tokens oder Anfragen. Latenzsensitive Inferenz legt mehr Gewicht auf kurze Wartezeiten einzelner Anfragen. Beide Ziele beeinflussen die Kosten und die nötige Kapazität auf unterschiedliche Weise.
| Einsatz | Modell oder Beispiel | Messgröße | Ergebnis |
|---|---|---|---|
| Inferenz mit hohem Durchsatz | DeepSeek V3, DeepSeek R1, Llama 4 Maverick | Kosten-Leistungs-Verhältnis | 225 Prozent besser |
| Latenzsensitive Inferenz | DeepSeek V3, DeepSeek R1, Llama 4 Maverick | Kosten-Leistungs-Verhältnis | 25 Prozent besser |
| Kundenspezifische LLMs | Palmyra von Writer, TensorRT-LLM | Durchsatz | Mehr als 60 Prozent höher |
Die ersten beiden Ergebnisse beziehen sich auf die genannten Model APIs auf A4-VMs. Der Durchsatzwert für Writer betrifft kundenspezifische Palmyra-LLMs und den Einsatz von TensorRT-LLM.
Kostenwerte richtig einordnen
Eine öffentliche Preismomentaufnahme vom September 2025 nennt für GPT OSS 120B 0,10 US-Dollar je Million Eingabe-Tokens. Für eine Million Ausgabe-Tokens nennt sie 0,50 US-Dollar. Die Werte können sich ändern und sind keine aktuellen Tarife.
Für ein dediziertes B200-Deployment nennt dieselbe Momentaufnahme 0,16633 US-Dollar pro Minute. Das ist ein zeitbasierter Preis und daher nicht direkt mit Token-Preisen gleichzusetzen. Der tatsächliche Kosten-Leistungs-Vergleich hängt vom Modell, der Anfragemenge und der Auslastung ab.
Die Prozentwerte dürfen nicht addiert werden, weil sie unterschiedliche Modelle und Bedingungen abbilden. Begriffe wie Baseten revenue oder Baseten Series D liefern hier keine belegten Angaben zu Umsatz oder einer späteren Finanzierungsrunde. Von den gemessenen Kosten und Leistungswerten führt der Blick zur Zuverlässigkeit bei schwankender Nachfrage.
Wie bleibt die Infrastruktur bei Ausfällen und Nachfragespitzen verfügbar?
Bei einem Ausfall zählt nicht nur freie GPU-Kapazität, sondern auch, wie schnell betroffene Workloads auf andere Ressourcen wechseln. Baseten betreibt seine Plattform über mehrere Clouds und Regionen. Die Verlagerung soll betroffene Workloads weiterführen, wenn eine Ressource ausfällt.
Die beschriebene Wiederherstellung läuft innerhalb weniger Minuten. Das ist eine Fallbeschreibung, keine Zusage einer bestimmten Verfügbarkeit für jeden Dienst.
Kapazität über Regionen und Clouds verteilen
Ein automatisiertes System kann Workloads bei einem Ausfall auf andere Ressourcen verschieben. Die Plattform verteilt den Betrieb über mehrere Regionen und Cloud-Anbieter. So kann sie eine betroffene Umgebung umgehen, statt alle Anfragen dort weiterzuleiten.
Der Dynamic Workload Scheduler (DWS) ermöglicht eine flexible Kapazitätsplanung auf Google Cloud. Er kann zusätzliche Ressourcen passend zum Bedarf nutzen. Das ergänzt den Betrieb über Regionen und Clouds, ersetzt aber keine genaue Planung für den eigenen Dienst.
Ein gesondertes Beispiel betrifft AWS-EC2-Instanzen mit NVIDIA A100-GPUs. Dort sank die Kaltstartzeit von zuvor bis zu fünf Minuten auf 5 bis 10 Sekunden. Das entspricht einer Beschleunigung um das 30- bis 60-Fache.
Dieses AWS-Beispiel ist von den Google-Cloud-A4-Ergebnissen zu trennen. Es beschreibt einen anderen Anbieter, andere GPUs und einen anderen Messwert. Daraus folgt keine allgemeine Startzeit für sämtliche Deployments.
Ressourcen an tatsächliche Nachfrage anpassen
Automatische Skalierung kann die Zahl der Replikate an das Anfrageaufkommen anpassen. Ein Replikat ist eine laufende Instanz des bereitgestellten Modells. Die Planung kann auch Service-Level-Vereinbarungen berücksichtigen, also festgelegte Anforderungen an den Dienst.
Bei der beschriebenen skalierten Bereitstellung fallen in Phasen ohne Aktivität keine Kosten an. Das kann für Dienste mit wechselndem Bedarf wichtig sein. Die Kosten hängen dennoch von der gewählten Infrastruktur und der tatsächlichen Nutzung ab.
Kapazität, Regionen und automatische Skalierung helfen, auf wechselnde Nachfrage zu reagieren. Die technische Resilienz ist besonders relevant für Anwendungen, die Anfragen ohne lange Unterbrechung bedienen müssen.
Welche Anwendungen und Teams profitieren von Baseten?
Ein Echtzeit-Sprachdienst oder ein agentischer Arbeitsablauf muss Anfragen auch dann bedienen, wenn die Nachfrage steigt. Baseten passt zu Teams, die eigene Modelle oder Open-Source-Modelle in Produkte einbinden. Der Bedarf an Infrastruktur ist dabei entscheidend.
Eine Inferenzplattform lohnt sich vor allem, wenn ein Produkt Modellbetrieb und Skalierung braucht. Sie ist nicht automatisch die richtige Wahl für jedes Team.
Wer nur eine fertige Fachanwendung sucht, braucht möglicherweise keine eigene Inferenzinfrastruktur.
Echtzeitdienste und komplexe Arbeitsabläufe
Genannte Anwendungsfelder verbinden hohe technische Anforderungen mit laufenden Anfragen:
- Finanzdienstleistungen: Ein agentischer Arbeitsablauf kann Daten prüfen und mehrere Arbeitsschritte koordinieren.
- Medien: Ein Echtzeitdienst kann Audio oder Video während der Nutzung verarbeiten.
- Gesundheitswesen: Ein Dokumentendienst kann Texte erfassen und Informationen daraus ordnen.
Solche Anwendungen brauchen skalierbare Inferenz und eine technische Einbindung in bestehende Produkte. Teams müssen dabei Modellzugriff, Anfragewege und Ressourcen planen. Die Anforderungen unterscheiden sich je nach Anwendung und gewünschter Antwortzeit.
Wann eine Inferenzplattform passt
Die Plattform ist eine Option für technische Teams, die Modelle in eigene Anwendungen einbetten. Das kann für Startups gelten, die ein Produkt mit machine learning bauen. Auch etablierte Teams können so eigene Modelle oder offene Modelle betreiben.
Ein konkreter Gegenfall ist ein Team, das nur eine fertige Fachanwendung ohne Modellbetrieb sucht. Es sollte zuerst prüfen, ob es Infrastruktur benötigt oder schlicht eine Anwendung nutzen möchte. Der Betrieb eigener Modelle bringt zusätzliche technische Aufgaben mit sich.
Der Zugang ist auch über den Google Cloud Marketplace möglich. Dieser Weg kann für Teams passen, die ihre Cloud-Dienste dort verwalten. Entscheidend bleibt, ob die gewünschte Anwendung ein eigenes Modell, flexible Kapazität und technische Integration erfordert.
Die Einsatzfelder reichen von Dokumenten bis zu Echtzeitmedien. Für den nächsten Schritt sollte ein Team den Modellbetrieb gegen den konkreten Produktbedarf abwägen.
Fazit
Basetens Fall zeigt, dass zuverlässige Inferenz ein abgestimmtes Betriebsmodell und nicht nur einen schnellen Chip voraussetzt. Entscheidend ist das Zusammenspiel aus beschleunigter Hardware, optimierter Software und flexibel verfügbarer Infrastruktur. Die veröffentlichten Leistungswerte hängen an konkreten Modellen und Betriebsbedingungen.
Technische Entscheider sollten den eigenen Workload nach Durchsatz, Latenz, Kapazitätsbedarf und Kostenmodell bewerten. Ein begrenzter Test über den Google Cloud Marketplace kann zeigen, ob die Plattform zum Produkt passt. Vor einer Produktionsentscheidung sollte das Team den eigenen Modell-Workload unter realistischen Nachfragebedingungen testen.
