Ein starrer Sprachdialog scheitert oft, sobald jemand mitten im Satz nachfragt. Ein guter Sprachassistent soll natürlich reagieren, Unterbrechungen erkennen und Gespräche über Telefon oder Web führen. LiveKit Agents bietet dafür einen möglichen Open-Source-Baustein. Der Ansatz passt zu Teams, die einen eigenen voice-basierten Dienst entwickeln und dessen Gesprächslogik selbst gestalten möchten. Dabei geht es nicht nur um gesprochene Antworten. Ein Agent muss Audio verarbeiten, passende Modelle ansprechen und auf den Gesprächsverlauf eingehen. Dieser Praxisleitfaden erklärt die Architektur, die Modellwahl und den Einstieg in die Entwicklung. Er behandelt auch Tests, Bereitstellung und Kosten, ohne feste Leistungs- oder Preisversprechen zu machen. Sie erfahren, wann ein selbst betriebenes System sinnvoll sein kann und wann LiveKit Cloud Aufgaben übernimmt. So können Sie die passende Betriebsform für Ihr Projekt wählen. Zunächst hilft eine grundlegende Einordnung des Frameworks.
Wichtige Punkte
- Das Framework bringt eigene Programmlogik in Echtzeitgespräche.
- Python und Node.js stehen als SDKs zur Verfügung.
- Modelle, Telefonie und Gesprächslogik bilden getrennte Bausteine.
- Texttests ersetzen keine Prüfung mit echtem Audio.
- Cloud-Betrieb und eigene Infrastruktur haben unterschiedliche Aufgaben.
- Session-Minuten, gleichzeitige Gespräche und Modellaufrufe sind eigene Maße.
Was ist LiveKit Agents und wofür eignet es sich?
LiveKit Agents ist ein Open-Source-Framework, das Programmcode als Teilnehmer in Echtzeitgespräche bringt. Es eignet sich für Sprach- und Audioanwendungen, bei denen ein eigener agent zuhören, antworten oder Werkzeuge nutzen soll. Der wichtige Punkt: Das Framework liefert Bausteine, aber keinen fertigen Sprachassistenten.
Ein Python- oder Node.js-Programm tritt einem LiveKit-Room bei, verarbeitet eingehende Medien und sendet Antworten zurück. Die AgentSession verbindet für ein einzelnes Gespräch die Sprachmodelle, Audioverarbeitung und Gesprächssteuerung zu einer Laufzeit. Sie behalten die Gesprächslogik in Ihrer Anwendung und wählen die Modelle passend zum Zweck. Modellanbieter lassen sich je nach Aufbau austauschen.
Das Framework liefert Bausteine, aber keinen fertigen Sprachassistenten. Ihre Anwendung bestimmt, wie das Gespräch verläuft.
Das Projekt steht unter der Apache-2.0-Lizenz und bietet SDKs für Python und Node.js. Sie können damit etwa einen Agenten für Terminannahmen, Support oder interaktive Audioanwendungen bauen. Die SDKs helfen bei Echtzeitmedien und beim Aufbau einer Agent Session.
Ein nicht offensichtlicher Vorteil ist, dass Ihre Anwendung WebRTC nicht selbst implementieren muss. LiveKit übernimmt den Medienweg zwischen Teilnehmern und Raum. Dennoch braucht Ihr Programm Regeln für Begrüßungen, Rückfragen, Abbrüche und Fehler. Ein Sprachmodell allein kennt weder Ihre Abläufe noch Ihre Geschäftsregeln.
Das Framework passt besonders, wenn Sie die Kontrolle über Code und Modellwahl brauchen. Für einen einfachen Prototyp kann ein Browserwerkzeug schneller sein. Die übrigen LiveKit-Bausteine helfen dabei, diese Wahl genauer zu treffen.
Wie unterscheiden sich Framework, Cloud und Builder?
Ein Team muss entscheiden, ob es Agenten programmiert, zuerst im Browser prototypisiert oder die Laufzeit selbst betreibt. Die Angebote erfüllen verschiedene Aufgaben. Wählen Sie nach Arbeitsweise, nicht nach ähnlich klingenden Namen.
LiveKit Agents und der LiveKit Media Server sind Open Source und laufen lokal oder auf eigener Infrastruktur. LiveKit Cloud verwaltet Agent-Deployments und bietet integrierte Observability sowie globalen Medientransport. Die Tabelle zeigt, wer welche Teile betreibt.
| Baustein | Was ist es? | Wann wählen? | Wer betreibt die Infrastruktur? |
|---|---|---|---|
| LiveKit Agents | Code-SDK für Agenten | Eigene Logik entwickeln | Team oder Cloud |
| LiveKit Cloud | Verwaltete Plattform | Managed-Betrieb nutzen | LiveKit |
| Agent Builder | Browserwerkzeug ohne Code | Prototypen erstellen | LiveKit |
| Agents UI | React- und shadcn-Komponenten | Eigene Oberfläche bauen | Team |
Der Agent Builder hilft, Gesprächsideen schnell im Browser zu prüfen. Er bietet jedoch weniger Funktionen als das SDK. Sobald ein Prototyp eigene Daten, Abläufe oder Tools braucht, kann Programmcode nötig werden.
Agents UI ist keine fertige Anwendung. Die React- und shadcn-Komponenten helfen Ihnen, eine eigene Oberfläche mit passenden Bedienelementen zu gestalten. Sie betreiben die Anwendung selbst und verbinden sie mit dem Backend.
Ein Team kann auch mehrere Bausteine kombinieren: erst im Builder testen, dann mit dem SDK umsetzen und später LiveKit Cloud nutzen. Die technische Reise beginnt beim Medium, das die Nutzerin oder der Nutzer verwendet.
Wie läuft eine Agent Session vom Anruf bis zur Antwort ab?
Eine Nutzerin spricht im Browser, während ihr Agent noch auf einem Server wartet. Sobald der Raum einen passenden Auftrag auslöst, startet der Agent und tritt dem Gespräch bei. Die Modelle müssen nicht im Raum laufen, auch wenn der Agent selbst Teilnehmer ist.
Der LiveKit-Room verbindet Medien, Teilnehmer und Agenten, während Modellaufrufe separat laufen können. So kann eine Anwendung Sprache übertragen, ohne Sprachmodelle direkt in den Medienserver einzubauen.
Browser und Apps verbinden sich über WebRTC
Ein AgentServer registriert sich beim LiveKit-Server und wartet auf einen Dispatch-Auftrag. Standardmäßig können Agent-Server für neue Räume eines Projekts eingeplant werden. Ein Auftrag startet dann den laufenden Agent-Prozess für ein Gespräch.
Der Agent tritt dem LiveKit-Room als Teilnehmer bei. Eine Browser-App oder mobile App sendet Audio über WebRTC in den Raum. Der Agent empfängt die Medien und verarbeitet die Sprache mit der gewählten Pipeline.
Die Anwendung kann Sprache zunächst in Text umwandeln lassen. Danach verarbeitet ein Sprachmodell den Inhalt und erzeugt eine Antwort. Eine Sprachsynthese wandelt diese Antwort zurück in Audio, das der Agent in den Raum sendet.
Modellaufrufe laufen oft über HTTP oder WebSockets. Sie können also an einem externen Dienst stattfinden. Im Raum bleiben die Medien und Teilnehmer verbunden, während der Agent passende Modellzugriffe auslöst.
SIP bringt Telefonate in den Gesprächsraum
Für ein Telefonat kann SIP die Brücke zwischen dem Telefonnetz und einem LiveKit-Room bilden. SIP ist ein Protokoll, das Telefongespräche verbindet. Ein Browser-Frontend ist dafür nicht nötig, doch Telefonnummer und Telefonie-Konfiguration müssen vorhanden sein.
Nach dem Eintreffen des Anrufs kann der Raum einen Dispatch-Auftrag auslösen. Der AgentServer startet den Agenten, der dem Raum beitritt und eingehendes Audio verarbeitet. Die Antwort gelangt über denselben Gesprächsweg zurück zur anrufenden Person.
Auch bei Telefonaten kann der Agent Modelle über HTTP oder WebSockets ansprechen. Die Modelle müssen nicht auf dem Agent-Server liegen. Diese Trennung ist wichtig, wenn Sie den Medienweg und die Modellwahl unabhängig planen möchten.
WebRTC eignet sich für Apps und Browser, SIP für Telefonie ohne Weboberfläche. Daraus ergeben sich unterschiedliche Einsatzfälle und Anforderungen an das Gespräch.
Für welche Aufgaben eignet sich ein Echtzeit-Sprachagent?
Ein Reparaturbetrieb kann Termine telefonisch oder auf einer Webseite annehmen. Ein Sprachagent kann dabei nach Gerät, Fehler und gewünschter Zeit fragen. Der Nutzen entsteht durch den Dialog, nicht allein durch eine gesprochene Antwort.
Ein Agent passt, wenn er Rückfragen stellen, Informationen verarbeiten oder eine Aktion auslösen muss. Vier typische Fälle zeigen, wie sich die Aufgaben unterscheiden.
- Eingehende Telefonate: Der Agent nimmt einen Terminwunsch auf und sortiert dringende Fälle vor.
- Ausgehende Anrufe: Der Agent klärt fehlende Angaben zu einem offenen Vorgang.
- Browser- oder App-Gespräche: Der Agent beantwortet Fragen und fragt bei unklaren Angaben nach.
- Audio- und Videoanwendungen: Der Agent reagiert in Echtzeit auf Sprache und weitere Medien.
In einer Zahnarztpraxis kann der Agent den gewünschten Behandlungstermin abfragen. Er kann nachfragen, ob es um eine Kontrolle oder akute Beschwerden geht. Danach kann ein Tool freie Zeiten prüfen oder den Fall an Mitarbeitende weitergeben.
Bei ausgehenden Anrufen kann ein Agent etwa eine fehlende Lieferangabe erfragen. Er muss dabei den Zweck des Anrufs erkennen und eine verständliche Antwort geben. Wenn eine Person widerspricht oder eine andere Frage stellt, braucht das Gespräch passende Regeln.
In einer App kann der Agent Fragen beantworten, während die Person eine Aufgabe erledigt. Bei Audio und Video kommen weitere Hinweise hinzu, die der Agent je nach Anwendung verarbeiten darf. Planen Sie dafür klare Grenzen und verständliche Hinweise ein.
Eine reine FAQ ohne Gesprächswechsel rechtfertigt nicht automatisch einen Sprachagenten. Eine statische Hilfeseite kann einfacher sein. Wenn Menschen aber Rückfragen stellen oder Aktionen auslösen, lohnt sich die Prüfung einer passenden Sprachpipeline.
Welche Sprachpipeline passt zu Ihrem Anwendungsfall?
Sie können einzelne Modelle gezielt kombinieren oder möglichst wenige Übergaben im Gespräch haben. Die Wahl beeinflusst Kontrolle, Einblick und mögliche Verzögerungen. Es gibt nicht eine Pipeline für alle Fälle.
Kaskaden lassen einzelne Teile austauschen, während ein Echtzeitmodell weniger Übergaben braucht. Die passende Architektur hängt davon ab, wie viel Kontrolle und Einblick Ihre Anwendung verlangt.
| Architektur | Ablauf | Stärken | Einschränkungen | Passend, wenn |
|---|---|---|---|---|
| STT-LLM-TTS-Kaskade | Sprache, Text, Antwort, Audio | Teile einzeln austauschbar | Mehr Übergaben | Kontrolle zählt |
| Audio-zu-Audio-Echtzeitmodell | Audio direkt zu Audio | Weniger Übergaben | Weniger Einblick in Zwischenschritte | Dialogtempo zählt |
| Hybrid | Echtzeitverständnis, separate TTS | Gesprochene Ausgabe steuerbar | Zusätzlicher Modellschritt | Stimme genau passen soll |
Eine Kaskade nutzt STT, LLM und TTS nacheinander. STT steht für Spracherkennung, LLM für Sprachmodell und TTS für Sprachsynthese. Sie können zum Beispiel die Erkennung wechseln, ohne die Stimme neu auszuwählen.
Ein Audio-zu-Audio-Modell verarbeitet Eingabe und Ausgabe in einem Echtzeitweg. Weniger Übergaben können die Latenz senken. Dafür zeigt das Modell oft weniger Zwischenschritte, was die Fehlersuche erschweren kann.
Ein Hybrid verbindet Echtzeitverständnis mit einer getrennten TTS-Stimme. Das kann sinnvoll sein, wenn Sie Antworten flexibel verstehen, aber die gesprochene Ausgabe genau steuern möchten. Die Wahl der Architektur führt zur konkreten Auswahl von Anbietern und Modellen.
Welche Modelle und Anbieter unterstützt LiveKit Inference?
LiveKit Inference bündelt den Zugang zu unterstützten STT-, LLM- und TTS-Modellen. Sie können einen LiveKit-Schlüssel nutzen oder eigene Provider-Schlüssel einrichten. Beide Wege erlauben eine Modellwahl, die zu Ihrem Gespräch passt.
Wählen Sie Modelle nach Aufgabe und Sprachqualität, nicht nur nach Anbietername. Anbieterzugang und verfügbare Modelle können sich unterscheiden.
STT und LLM passend zum Gespräch auswählen
STT wandelt gesprochene Sprache in Text um. Für Terminannahmen sollte die Erkennung Namen, Zeiten und kurze Antworten zuverlässig verarbeiten. Testen Sie auch Wörter, die in Ihrem Betrieb häufig vorkommen.
Das LLM bestimmt, wie der Agent den erkannten Inhalt verarbeitet und antwortet. Für eine einfache Sortierung genügt womöglich eine eng gefasste Aufgabe. Bei offenen Gesprächen braucht der Agent klare Regeln für Rückfragen und Übergaben.
Zu den verfügbaren Anbietern zählen unter anderem AssemblyAI, Deepgram, Google und OpenAI. Google ist ein Beispiel für einen Modellanbieter. Welche Modelle jeweils verfügbar sind, hängt vom Zugang und der aktuellen Integration ab.
LiveKit Inference kann den Zugang bündeln. Alternativ verwenden Sie eigene Schlüssel beim jeweiligen Provider. Berücksichtigen Sie dabei, welche Daten übertragen werden und wie Sie Fehler oder Limits behandeln.
TTS-Stimme und Modellzugang festlegen
TTS erzeugt die gesprochene Antwort. Anbieter wie Cartesia, Inworld und Fish Audio gehören zu den verfügbaren Optionen. Prüfen Sie die konkrete Stimme mit typischen Sätzen aus Ihrem Dialog.
Achten Sie auf Sprechstil, Verständlichkeit und eine Stimme, die in der gewünschten Sprache verfügbar ist. Eine angenehme Stimme hilft wenig, wenn wichtige Namen oder Zahlen schwer zu verstehen sind. Hören Sie auch längere Antworten und kurze Rückfragen an.
Ein gebündelter Zugang kann die Einrichtung vereinfachen, während eigene Provider-Schlüssel mehr direkte Kontrolle geben. Legen Sie außerdem fest, ob ein Anbieterwechsel während einer laufenden Session möglich sein soll. Danach wird die Gesprächssteuerung wichtig: Der Agent muss Sprecherwechsel erkennen.
Wie funktionieren Turn Detection und Unterbrechungen?
Eine Pause mitten in „Ich muss noch überlegen“ kann ein einfacher Stille-Timer falsch deuten. Der Agent könnte zu früh antworten, obwohl die Person noch spricht. Gute Turn Detection bewertet deshalb mehr als die Länge einer Pause.
Stille allein beweist nicht, dass ein Sprecher fertig ist. VAD, STT-basiertes Endpointing und Turn-Detector lösen diese Aufgabe auf unterschiedliche Weise.
Das Ende eines Sprecherbeitrags erkennen
VAD erkennt, ob Audio Sprache oder Stille enthält. Ein einfacher Ansatz kann ein Gesprächsende vermuten, wenn nach Sprache eine Pause folgt. Das funktioniert bei klaren Antworten, aber nicht immer beim Nachdenken.
STT-basiertes Endpointing nutzt den erkannten Text und Hinweise auf ein Satzende. Ein Turn-Detector kann zusätzlich einschätzen, ob eine Person ihren Beitrag abgeschlossen hat. Diese Verfahren lassen sich je nach Pipeline und Modell unterschiedlich einsetzen.
Kurze Rückmeldungen wie „mhm“ sind nicht zwingend ein echter Sprecherwechsel. Sie können Zustimmung oder Aufmerksamkeit zeigen, während der Agent noch sprechen darf. Der Agent sollte solche Laute nicht automatisch als Unterbrechung werten.
Ein stiller Nutzer beim Nachdenken ist ebenfalls nicht automatisch fertig. Bei offenen Fragen kann eine längere Pause dazugehören. Stimmen Sie die Erkennung auf den Gesprächsstil und die tatsächliche Telefonie ab.
Barge-in und Fehlunterbrechungen abstimmen
Barge-in bedeutet, dass eine Person den Agenten unterbricht. Der Agent sollte dann seine Ausgabe stoppen und die neue Äußerung verarbeiten. Zu empfindliche Schwellen lassen schon kurze Geräusche wie eine Unterbrechung wirken.
Prüfen Sie diese vier Einstellpunkte mit echtem Audio:
- Minimale Sprechdauer für Barge-in
- Minimale Wortzahl für eine Unterbrechung
- Verzögerung bis zum erkannten Turn-Ende
- Wiederaufnahme nach einer Fehlunterbrechung
Rückmeldungen, Hintergrundgeräusche und Leitungsschwankungen verändern das Ergebnis. Prüfen Sie die Schwellen später mit den Laufzeit- und Paketvoraussetzungen Ihres Projekts.
Welche Voraussetzungen braucht das erste LiveKit-Projekt?
Haben Sie die nötige Laufzeit und einen erreichbaren LiveKit-Server? Für den Start brauchen Sie außerdem ein Projekt, ein passendes Paketwerkzeug und Modellzugang. Prüfen Sie diese Punkte zuerst, bevor Sie Vorlagen installieren.
Die Node.js-Vorlage benötigt Node.js 24 oder neuer und pnpm 10 oder neuer. Das SDK selbst unterstützt Node.js 20, die Vorlage hat aber strengere Anforderungen.
Laufzeit und Paketmanager vorbereiten
Für Python setzt das SDK Python 3.10 oder neuer voraus. Die Python-Vorlage nutzt uv als Paketmanager. Prüfen Sie die installierte Version, bevor Sie Abhängigkeiten anlegen.
Für die Node.js-Vorlage brauchen Sie Node.js 24 oder neuer und pnpm 10 oder neuer. Auch wenn das SDK Node.js 20 unterstützt, reicht diese Version nicht für die genannte Vorlage.
Die LiveKit CLI braucht Version 2.18.7 oder neuer für Simulationsbefehle. Der Agent-Debugger benötigt Version 2.18.8 oder neuer. Eine passende CLI spart Zeit, wenn Sie Agenten lokal prüfen.
Projekt, CLI und Modellzugang einrichten
Planen Sie diese fünf Vorbereitungen ein:
- Python 3.10 oder neuer, oder Node.js 24 oder neuer
- uv für Python, oder pnpm 10 oder neuer für Node.js
- LiveKit-Cloud-Projekt oder eigener LiveKit-Server
- LiveKit CLI 2.18.7 oder neuer, Debugger ab 2.18.8
- LiveKit Inference-Zugang oder eigene Provider-Schlüssel
Prüfen Sie die Projektregion vor dem Anlegen. Session-Analytics und Observability-Daten bleiben in dieser Region. Sie lässt sich nach der Erstellung nicht ändern.
Mit Laufzeit, Server und Zugangsdaten steht das Projekt bereit. Nun kann eine Vorlage ein startbares Grundgerüst erzeugen.
Wie erstellen Sie einen ersten Agenten mit der LiveKit CLI?
Starten Sie ein neues Projekt mit einer CLI-Vorlage, statt mit einer leeren Datei. So erhalten Sie ein passendes Grundgerüst für Python oder Node.js. Der Projektname zählt, denn der Agentname hilft später bei Zuordnung und Dispatch.
Nutzen Sie eine aktuelle Vorlage, die zur dokumentierten SDK-Architektur passt. Ältere Codebeispiele können einen anderen Einstiegspunkt zeigen.
Vorlage klonen und Projektgerüst starten
Für ein Node.js-Projekt verwenden Sie lk agent init mein-agent --template agent-starter-node. Die CLI legt damit die Startdateien für die Vorlage an.
Für Python nutzen Sie lk agent init mein-agent --template agent-starter-python. Danach installieren Sie die Abhängigkeiten mit dem Paketwerkzeug der Vorlage und tragen die nötigen Zugangsdaten ein.
LiveKit Agents examples bieten Beispiele und Startpunkte für solche Vorlagen. Sie enthalten nicht automatisch Ihre Geschäftslogik. Ergänzen Sie Regeln für Begrüßung, Datenabfrage, Fehler und Übergaben.
Der Agentname ist nicht bloß ein Ordnername. Er kann für spätere Zuordnung und Dispatch relevant sein. Halten Sie Namen deshalb konsistent zwischen lokalem Projekt und Bereitstellung.
AgentServer und Session-Handler verbinden
In der aktuellen Python-Architektur startet ein AgentServer den laufenden Agent-Prozess. Ein Handler mit @server.rtc_session() verarbeitet den Auftrag für eine Session und verbindet die passende Gesprächslogik.
Viele ältere Beispiele verwenden WorkerOptions(entrypoint_fnc=...). Übernehmen Sie diesen Einstieg nicht, wenn er nicht zur aktuellen Dokumentation passt. Alte Beispiele können trotz ähnlicher Bausteine mit einer anderen API arbeiten.
Prüfen Sie, welche Funktion den Raumbeitritt und die AgentSession einrichtet. Ein Grundgerüst sollte sich lokal starten lassen, bevor Sie Werkzeuge oder eigene Daten anbinden. Als Nächstes geht es um sichere Geschäftsaktionen.
Wie geben Sie dem Agenten Tools und Übergaben?
Eine Terminbuchung ist nicht mit einer gesprochenen Antwort allein erledigt. Der Agent muss freie Zeiten prüfen und vielleicht einen Termin speichern. Tools verbinden das Gespräch mit solchen Aktionen.
Geben Sie dem Agenten nur klar beschriebene Funktionen und prüfen Sie schreibende Aktionen besonders sorgfältig. Bei komplexen Aufgaben kann eine Übergabe an eine andere Agentenrolle helfen.
Funktionen als Tools bereitstellen
Ein Tool beschreibt eine Funktion, die der Agent aufrufen darf. Funktionsname, Typangaben und Docstring erklären dem Modell, welche Eingaben nötig sind und was die Funktion tut.
Ein Terminverfügbarkeits-Tool könnte Datum und gewünschte Behandlungsart entgegennehmen. Es liefert freie Zeitfenster zurück, die der Agent verständlich nennen kann. Sind keine Zeiten frei, sollte das Ergebnis eine klare Alternative enthalten.
Fehler müssen ebenfalls lesbar zurückkommen. Wenn der Kalenderdienst ausfällt, geben Sie dem Modell eine verständliche Fehlermeldung statt einer technischen Ausnahme. So kann der Agent einen späteren Versuch oder eine Übergabe anbieten.
Bei schreibenden Aktionen zählt die Reihenfolge. Wenn eine Person während des Speicherns unterbricht, kann der Termin trotzdem bereits gebucht sein. Kontrollieren Sie Unterbrechungen und prüfen Sie das Ergebnis, bevor der Agent eine Aktion wiederholt.
Bei Spezialaufgaben an einen anderen Agenten übergeben
Eine Übergabe ist nützlich, wenn eine andere Rolle mehr Wissen oder andere Tools braucht. Ein Erstkontakt-Agent kann etwa einen komplexen Fall an einen Spezialisten weitergeben.
Reichen Sie den Gesprächskontext mit. Dazu können die bisherige Unterhaltung, bestätigte Angaben und der offene Grund der Übergabe gehören. Ohne Historie müsste die nächste Rolle dieselben Fragen erneut stellen.
Geben Sie nur Daten weiter, die für die Aufgabe nötig sind. Eine klare Übergabe nennt den Grund und sagt, ob die Person über die Weitergabe informiert wurde. Prüfen Sie Tools und Übergaben anschließend in realistischen Gesprächen.
Wie testen Sie einen LiveKit-Agenten vor dem Start?
Ein getesteter Textdialog kann trotzdem an einer lauten Telefonverbindung scheitern. Automatisierte Tests helfen bei Gesprächsregeln und Tool-Aufrufen, aber nicht bei jeder Audiofrage. Text und Audio brauchen getrennte Prüfungen.
Ein bestandener Texttest beweist keine gute Sprachqualität auf einer Mobilfunkverbindung. Testen Sie das Verhalten mit Helpers und prüfen Sie reale Medienwege zusätzlich.
Verhalten mit den eingebauten Test-Helpers prüfen
Python-Helpers lassen sich mit pytest nutzen. Für Node.js gibt es Helpers für Vitest. Damit können Sie Dialogverhalten und erwartete Ereignisse prüfen, ohne jeden Test manuell zu führen.
Ein Test kann etwa prüfen, ob der Agent bei fehlenden Angaben nachfragt. Er kann auch kontrollieren, ob ein Tool mit passenden Daten aufgerufen wurde. Bei offenen Antworten kann ein LLM-Judge die Antwort anhand festgelegter Kriterien bewerten.
Diese Helpers arbeiten textbasiert und verbinden sich dabei nicht mit einem LiveKit-Room. Sie prüfen also keine echte Mikrofonaufnahme, keine Telefonleitung und keine gesprochene TTS-Ausgabe. Nutzen Sie sie für Logik, nicht als Ersatz für Audiotests.
Audio, Telefonie und Störgeräusche separat abdecken
Prüfen Sie im Audiotest mindestens diese vier Fälle:
- Akzente und unterschiedliche Sprechweisen
- Hintergrundgeräusche im Raum
- Zeitpunkt und Erkennung von Unterbrechungen
- Den tatsächlichen Telefoniepfad
Hören Sie die Ausgabe auf einem Telefon ab und prüfen Sie, ob Namen und Zahlen verständlich bleiben. Eine Verbindung kann Sprache verzerren oder Geräusche verstärken. Der Browsertest deckt solche Unterschiede nicht sicher ab.
Wiederholen Sie wichtige Abläufe mit unterschiedlichen Personen und realistischen Gesprächslängen. So entdecken Sie Probleme, die einzelne Beispielsätze nicht zeigen. Danach brauchen reale Sitzungen passende Beobachtung und Diagnose.
Was verraten Agent Console und Observability über Gespräche?
Der Agent antwortet langsam, doch Sie wissen nicht, ob STT, LLM oder TTS bremst. Agent Console und Observability helfen, eine reale Session nach ihren einzelnen Ereignissen zu prüfen. Die Zeitabschnitte zeigen den Engpass.
Vergleichen Sie die Latenz nach STT-, LLM- und TTS-Schritten, statt nur die Gesamtdauer zu betrachten. So lässt sich die Suche auf einen Teil der Pipeline eingrenzen.
Sitzungen live im Agent Console verfolgen
Agent Console bietet eine Oberfläche, um Audio, Ereignisse und Teilnehmende einer Session zu prüfen. Sie sehen auch Tool-Aufrufe, Metriken und verwendete Modelle. Das hilft, einen unerwarteten Gesprächsverlauf Schritt für Schritt nachzuvollziehen.
Wenn der Agent auf eine Frage nicht reagiert, prüfen Sie zuerst, ob Audio angekommen ist. Danach sehen Sie, ob die Erkennung Text geliefert und der Agent ein Tool ausgelöst hat. So trennen Sie Medienprobleme von Fehlern in der Gesprächslogik.
Bei einem Anruf können Sie prüfen, wann ein Teilnehmer den Raum betreten hat und welche Ereignisse folgten. Das ist hilfreich, wenn eine Session abbricht oder eine Antwort unerwartet beginnt. Achten Sie bei gespeicherten Gesprächsdaten auf Ihre Datenschutzregeln.
Latenz, Fehler und Modellnutzung auswerten
Teilen Sie die Antwortzeit in STT, LLM und TTS auf. Eine lange Erkennungszeit kann auf die Audioaufnahme oder Spracherkennung hinweisen. Eine lange Modellantwort deutet eher auf den LLM-Aufruf oder dessen Eingabe hin.
Laufende Summen der Modellnutzung helfen, ungewöhnliche Verläufe zu erkennen. Fehlerprotokolle zeigen, ob Anbieteraufrufe scheitern oder Tools Probleme melden. Vergleichen Sie diese Angaben mit der betroffenen Session.
Planen Sie die Datenregion als Teil Ihrer Betriebs- und Datenplanung. Sie beeinflusst, wo Session-Analytics und Observability-Daten liegen. Mit diesen Diagnosewegen können Sie die passende Betriebsform für den Produktivstart wählen.
Wie bringen Sie LiveKit Agents in die Produktion?
Ein Team muss wählen, ob es den Medienserver selbst betreibt oder diese Aufgabe abgibt. LiveKit Cloud verwaltet Agent-Deployments, während Self-Hosting mehr Betriebsarbeit beim Team lässt. Die Wahl verschiebt Verantwortung.
Eigenes Hosting überlässt Autoscaling und Session-Platzierung dem Betreiber. Es ist nicht automatisch günstiger, denn Betrieb, Überwachung und Skalierung brauchen eigene Arbeit.
| Betriebsart | Wer betreibt Server und Medien? | Deployment und Skalierung | Was muss das Team selbst übernehmen? |
|---|---|---|---|
| LiveKit Cloud | LiveKit | Verwaltetes Agent-Deployment | Agent-Code und Einstellungen |
| Eigene Infrastruktur | Das Team | Eigene Abläufe | Autoscaling und Session-Platzierung |
| Lokale Entwicklung | Lokaler Rechner | Manueller Start | Tests und lokale Umgebung |
Für einen Cloud-Start melden Sie sich mit lk cloud auth an. Danach registriert lk agent create ein Agent-Deployment. Der Befehl kann bei Bedarf eine livekit.toml und ein Dockerfile erzeugen.
Die CLI lädt den Code für den Build hoch und rollt den Agenten aus. Prüfen Sie den Status mit lk agent status und sehen Sie Logs mit lk agent logs. Diese Befehle helfen, fehlgeschlagene Builds oder Starts einzugrenzen.
Cloud-Agenten können aktive Sessions beim Herunterfahren geordnet beenden. Dieses graceful drain reduziert abrupte Abbrüche. Beim Self-Hosting müssen Sie vergleichbare Abläufe für Updates und Abschaltungen selbst planen.
Lokale Entwicklung eignet sich für Änderungen und erste Tests, nicht als alleiniger Produktionsplan. Die Betriebswahl führt zu den Nutzungseinheiten und den Kosten.
Wie werden Agent-Session-Minuten und Inference abgerechnet?
Ein Deployment, ein gleichzeitiges Gespräch und ein Modellaufruf sind verschiedene Einheiten. Agent-Session-Minuten zählen aktive Gesprächszeit. Die Begriffe nicht verwechseln.
Im kostenlosen Build-Plan gelten Kontingente als harte Grenzen und erschöpfte Kontingente können Anfragen scheitern lassen. Der Plan umfasst monatlich 1.000 Agent-Session-Minuten, fünf gleichzeitige Sessions und ein Agent-Deployment.
| Kontingent oder Messgröße | Was wird gezählt? | Build-Plan oder Abrechnungsregel | Worauf achten? |
|---|---|---|---|
| Agent-Session-Minuten | Minuten aktiver Gespräche | 1.000 pro Monat | Gesprächsdauer summiert sich |
| Gleichzeitige Agent Sessions | Aktive Gespräche zur selben Zeit | Bis zu fünf | Nicht mit Deployments verwechseln |
| Inference-Concurrency | Parallele Modellaufrufe | Plan- und modellabhängig | STT, LLM und TTS beachten |
| Eingehende Telefonminuten | Telefonate über eine US-Nummer | 50 Minuten pro Monat | Nur eingehende Minuten |
Ein Deployment ist eine laufende Version des Agent-Backends. Eine gleichzeitige Session ist ein aktives Gespräch. Inference-Concurrency begrenzt parallele STT-, LLM- oder TTS-Aufrufe und ist damit eine eigene Größe.
Der kostenlose Build-Plan enthält außerdem 2,50 US-Dollar Inference-Guthaben. LiveKit schätzt dieses Guthaben auf ungefähr 50 Gesprächsminuten. Observability ist enthalten, ebenso 100 Minuten Guthaben für Voice Isolation.
Die kostenlosen Kontingente gelten projektübergreifend für kostenlose Projekte. Wenn ein Limit erschöpft ist, können weitere Anfragen fehlschlagen. Planen Sie deshalb Tests und erste Gespräche innerhalb der verfügbaren Grenzen.
Es gibt keinen allgemeingültigen Preis pro Minute für jede Anwendung. Die Kosten hängen vom Plan und vom Modellverbrauch ab. Prüfen Sie vor dem Go-live auch typische Versions- und Gesprächsfehler.
Welche Fehler sollten Sie bei Versionen und Gesprächen vermeiden?
Ein Demo-Aufruf kann funktionieren, während ein echter Anruf an alten APIs oder Störgeräuschen scheitert. Ein belastbares Produktionssystem braucht passende Versionen und Tests mit echten Gesprächsbedingungen. Der Unterschied zeigt sich im Alltag.
Pinnen Sie das Python-Paket exakt und prüfen Sie Updates bewusst. Die folgenden Versionsdaten betreffen das Python-Paket, nicht automatisch das Node.js-SDK.
Veraltete API-Beispiele und unkontrollierte Updates
Ältere Python-Beispiele nutzen teils WorkerOptions(entrypoint_fnc=...). Wenn die aktuelle Dokumentation AgentServer und @server.rtc_session() nutzt, passt dieser Einstieg möglicherweise nicht mehr.
Das Python-Paket wechselte von Version 1.5.0 am 19. März 2026 zu Version 1.6.7 am 25. Juli 2026. Vier Releases wurden zurückgezogen. Version 1.2.7 hatte eine Regression mit festhängenden Tool-Aufrufen.
Version 1.5.18 war als nicht veröffentlichungsreif gekennzeichnet. Diese Beispiele zeigen, warum ein automatisches Update riskant sein kann. Halten Sie bekannte Versionen fest und testen Sie Änderungen vor dem Rollout.
Übertragen Sie diese Python-Versionsdaten nicht ungeprüft auf Node.js. Die SDKs können eigene Versionsfolgen und Änderungen haben. Prüfen Sie die Beispiele für die Sprache, die Ihr Projekt tatsächlich nutzt.
Texttests und Standardwerte nicht mit Produktion verwechseln
Ein Texttest bestätigt keine gute Audioqualität. Telefonleitungen bringen Rauschen und Verzögerungen mit, die ein Test ohne LiveKit-Room nicht abbildet. Prüfen Sie deshalb echte Anrufe vor dem produktiven Einsatz.
Bei verrauschten Telefonaten können zu niedrige Unterbrechungsschwellen Geräusche als Barge-in werten. Passen Sie Mindestdauer, Wortschwelle und Turn-Detection-Modus an das Audio an. Kurze Rückmeldungen dürfen nicht jedes Mal den Agenten stoppen.
Markdown in vorgelesenen Anweisungen kann ebenfalls stören. Testen Sie, wie der Agent Listen, Symbole und Zahlen ausspricht. Starten Sie klein, prüfen Sie Ihre Gesprächsbedingungen und erweitern Sie erst dann gezielt.
Pinnen Sie das Python-Paket exakt und prüfen Sie Updates bewusst. Ein Texttest bestätigt keine gute Audioqualität.
Fazit
Teams sollten mit einem eng umrissenen Gesprächsfall und einer austauschbaren Pipeline starten. So bleiben Änderungen an Modell und Gesprächslogik kontrollierbar. Wählen Sie einen Fall, dessen Erfolg sich an einer klaren Aufgabe messen lässt.
Tests mit echtem Audio und Beobachtung nach dem Start gehören zur Produktionsreife. Ein sauberer Textdialog reicht nicht, wenn Anrufende über eine laute Leitung sprechen. Prüfen Sie, wie der Agent reagiert, wenn Menschen zögern, unterbrechen oder Angaben ändern.
Legen Sie als nächsten Schritt ein LiveKit-Projekt an und starten Sie eine Vorlage. Bestimmen Sie einen repräsentativen Anrufablauf, bevor Sie weitere Funktionen ergänzen. Probieren Sie jetzt einen einzigen realistischen Gesprächsfall mit der Vorlage aus.
