Mit einer API-Anfrage lässt sich ein KI-Modell in eine Anwendung einbinden, ohne das Modell selbst auf einem eigenen Server betreiben zu müssen. Replicate bietet Entwicklerinnen und Entwicklern dafür gehostete Modelle, die sie mit eigenen Anwendungen verbinden können.
Das ist hilfreich, wenn eine Anwendung KI-Aufgaben lösen soll, Ihr Team aber keine eigene Modellinfrastruktur aufsetzen möchte. Sie können so einen Modellaufruf testen, bevor Sie eigene Server planen.
Ob der Ansatz zu Ihrem Vorhaben passt, hängt von der Aufgabe und den gewünschten Ergebnissen ab. Auch Modellwahl, Zugriff, Anpassung und Kosten beeinflussen die Entscheidung.
Die folgenden Punkte zeigen, worauf es bei diesen Entscheidungen ankommt. Zuerst stellt sich die Grundfrage, was Replicate als Plattform bereitstellt.
Wichtige Punkte
- Gehostete KI-Modelle lassen sich per API in eigene Anwendungen einbinden.
- Ein eigener Server für das Modell ist nicht immer nötig.
- Die Modellwahl sollte zur Aufgabe und zu den erwarteten Ausgaben passen.
- Ein API-Token ermöglicht den Zugriff, macht die Ausführung aber nicht automatisch kostenlos.
- Fine-Tuning und eigene Bereitstellung sind mögliche Wege zur Anpassung.
Was ist Replicate?
Replicate ist eine Cloud-Plattform, über die Entwickler Open-Source-KI-Modelle per API nutzen können. Sie bündelt gehostete Modelle und stellt den Zugriff auf sie über eine gemeinsame Schnittstelle bereit.
Das Modell ist die KI-Komponente, die eine Eingabe verarbeitet und eine Ausgabe erzeugt. Die API ist der technische Zugang, über den eine Anwendung mit diesem Modell kommuniziert. Replicate stellt den Modellzugriff bereit, aber keine fertige Geschäftsanwendung.
Replicate liefert den Zugang zum Modell, nicht automatisch die Anwendung oder den ganzen Arbeitsablauf.
Ein Entwicklerteam kann ein Modell also in einen eigenen Dienst oder ein Produkt einbauen. Das Team muss weiterhin festlegen, welche Eingaben es annimmt, wie es Ergebnisse verarbeitet und was Nutzerinnen und Nutzer sehen.
Die Plattform bündelt Modelle, die von unterschiedlichen Anbietern oder Gemeinschaften stammen können. Verfügbare Versionen und Funktionen unterscheiden sich deshalb je nach Modell.
Replicate eignet sich, wenn Sie Modelle nutzen möchten, ohne ihre Infrastruktur selbst zu betreiben. Der Nutzen für Ihr Vorhaben hängt aber davon ab, ob ein Modell die gewünschte Aufgabe erfüllt.
Damit führt das Grundverständnis zur praktischen Frage, welche Aufgaben sich über die API abwickeln lassen.
Welche Aufgaben deckt die API ab?
Über die API können Sie Modelle aufrufen sowie Vorhersagen, Trainingsjobs und Modellversionen verwalten. Eine Vorhersage ist die Inferenz: das Ausführen eines trainierten Modells mit konkreten Eingaben, um eine Ausgabe zu erzeugen.
Ein einfacher Modellaufruf beginnt oft mit einer Vorhersage. Nicht jedes Projekt braucht auch Kontoabfragen, Trainingsjobs oder Einstellungen für Modellversionen.
Die wichtigsten Bereiche für Entwicklerinnen und Entwickler sind:
- Konto und Authentifizierung: Kontodaten abfragen und API-Anfragen authentifizieren.
- Modelle und Versionen: öffentliche Modelle auflisten sowie Informationen, Einstellungen und Versionen verwalten.
- Vorhersagen und Status: Vorhersagen starten, ihren Status verfolgen oder sie abbrechen.
- Trainingsjobs: Jobs mit eigenen Daten erstellen, überwachen und bei Bedarf abbrechen.
- Hardware und Nutzungslimits: verfügbare Hardware und Informationen zu Kontolimits abfragen.
Diese Funktionen decken mehrere Schritte rund um Modelle ab. Für einen ersten Test genügt meist ein Modellaufruf mit einer konkreten Eingabe und einer passenden Version.
Ein Team kann den Status einer Vorhersage verfolgen, statt auf eine sofortige Antwort zu setzen. Das ist wichtig, wenn ein Modell mehr Zeit für die Verarbeitung benötigt.
Auch Replicate AI bietet Zugriff auf unterschiedliche Modellfunktionen. Die API-Funktionen garantieren keine bestimmte Ausgabequalität. Diese hängt vom ausgewählten Modell, dessen Version und der Eingabe ab.
Welche Verwaltungsfunktionen Sie nutzen, richtet sich nach dem Aufbau Ihrer Anwendung. Die verfügbaren API-Aufgaben sagen allein noch nicht, welches Modell zur konkreten Aufgabe passt.
Wie wählen Sie ein passendes Modell für Ihre Anwendung?
Ein Modell passt dann, wenn seine Eingaben und Ausgaben direkt zu der Aufgabe Ihrer Anwendung passen. Prüfen Sie vor der Integration, welche Daten es annimmt und welche Ergebnisse es liefert.
Modellbeschreibung, Version und Beispielausgaben zeigen, ob ein Modell für Ihren Zweck geeignet ist. Modellnamen allein sagen wenig über die Ergebnisse einer konkreten Anwendung aus.
Bild- und Videomodelle
Bildmodelle können Bilder erzeugen oder vorhandene Bilder bearbeiten. Replicate AI für Fotos kann je nach ausgewähltem Modell beides bedeuten.
Prüfen Sie Eingaben und Beispielresultate, bevor Sie Bildfunktionen einbauen. Bei der Bildqualität mit Replicate gibt es keine einheitliche Garantie, denn Modell, Eingaben und Version wirken sich auf das Ergebnis aus.
CodeFormer auf Replicate ist ein Modellname, den Sie im Katalog prüfen können. Eine bestimmte Version ist nicht zwingend immer verfügbar.
Videomodelle verarbeiten je nach Modell Videodateien oder erzeugen neue Clips. Achten Sie auf die unterstützten Eingaben und die Art der Ausgabe.
Audio-, Sprach- und Textmodelle
Audio- und Sprachmodelle können etwa Sprache verarbeiten oder erzeugen. Textmodelle nehmen Texteingaben entgegen und geben darauf basierend Text aus.
Unterschiede bei Eingabeformaten, Versionsständen und Ausgaben können die Integration beeinflussen. Ein Modell, das eine Datei als Eingabe erwartet, passt nicht ohne Weiteres zu einem reinen Textfeld.
Vergleichen Sie vor der Auswahl diese vier Punkte:
- Gewünschte Ausgabe: Welches Ergebnis soll die Anwendung liefern?
- Akzeptierte Eingaben: Welche Texte, Bilder oder Dateien nimmt das Modell an?
- Modellversion: Welche konkrete Version wollen Sie testen?
- Beispielresultate: Entsprechen die gezeigten Ausgaben Ihrer erwarteten Qualität?
Wenn Eingaben und Beispielresultate passen, können Sie den nächsten praktischen Schritt angehen: den API-Zugriff einrichten und einen Aufruf testen.
Wie testen Sie den API-Zugriff und binden ihn ein?
Für einen API-Aufruf benötigen Sie zuerst ein persönliches Zugangstoken. Bei Replicate anmelden und in den Kontoeinstellungen den Bereich „API-Tokens“ öffnen.
Ein Token ist ein Zugangsmittel, aber kein kostenloser Modellausführungsplan. Ein kostenloser Replicate-API-Key bedeutet daher nicht, dass Modellaufrufe keine Kosten verursachen.
Erstellen und verwalten Sie das Replicate-API-Token in drei Schritten:
- Geben Sie dem Token einen Namen und erstellen Sie es in den Kontoeinstellungen.
- Kopieren Sie das erstellte Token sicher und bewahren Sie es geschützt auf.
- Erneuern oder löschen Sie das Token, wenn Sie es nicht mehr nutzen möchten.
Ersten Aufruf testen
Testen Sie den Zugriff getrennt von der späteren Einbindung in Ihre Anwendung. Senden Sie eine konkrete Eingabe an die ausgewählte Modellversion und prüfen Sie die Rückgabe.
Achten Sie darauf, ob das Modell die Eingabe annimmt und die erwartete Art von Ausgabe liefert. Ein erfolgreicher Aufruf allein belegt noch nicht, dass das Ergebnis für den späteren Einsatz genügt.
Ein generierter Code-Client kann den Start erleichtern. Prüfen Sie den Code trotzdem und passen Sie ihn an Ihre Programmiersprache sowie den benötigten Endpunkt an.
Integration absichern
Bei der Integration ruft Ihre Anwendung die API über den passenden Endpunkt auf. Planen Sie auch ein, wie sie Rückgaben und mögliche Fehler weiterverarbeitet.
Betten Sie das Zugangstoken nicht in öffentlich zugänglichen Quellcode ein. Wer den Token lesen kann, könnte damit Anfragen in Ihrem Namen senden.
Schützen Sie den Token und testen Sie die konkrete Eingabe, bevor Sie den Aufruf dauerhaft einbauen. Danach stellt sich die Frage, ob ein vorhandenes Modell genügt oder angepasst werden soll.
Wie passen Sie Modelle an und stellen eigene bereit?
Ein vorhandenes Modell anzupassen und ein eigenes Modell bereitzustellen sind zwei unterschiedliche Wege zu einem spezifischen Ergebnis. Fine-Tuning bedeutet, ein vortrainiertes Modell mit eigenen Daten weiterzutrainieren.
Fine-Tuning verändert ein vorhandenes Modell; Cog bereitet ein eigenes Modell für die Bereitstellung vor. Welcher Weg passt, hängt davon ab, was Ihr Team schon entwickelt hat.
Ein vorhandenes Modell mit Daten anpassen
Trainingsjobs auf Replicate können benutzerdefinierte Daten nutzen. So lässt sich ein bestehendes Modell für eine engere Aufgabe anpassen.
Ein Beispiel wäre ein Bildmodell, das mit eigenen Produktbildern auf einen wiedererkennbaren Stil ausgerichtet werden soll. Das verspricht kein bestimmtes Ergebnis; die Wirkung hängt unter anderem von den Daten ab.
Planen Sie genug passende Daten ein und prüfen Sie deren Nutzungsrechte. Sie sollten klären, ob Sie die Bilder oder anderen Inhalte für das Training bereitstellen dürfen.
Auch die Qualität und Zusammenstellung der Daten spielen eine Rolle. Unvollständige oder uneinheitliche Beispiele können das gewünschte Ziel erschweren.
Ein eigenes Modell bereitstellen
Cog ist ein Open-Source-Werkzeug zum standardisierten Verpacken eines Modells. Es bündelt den Code und die Abhängigkeiten, die das Modell für die Ausführung braucht.
So kann ein Team ein selbst entwickeltes Modell in standardisierter Form auf der Replicate-Infrastruktur bereitstellen. Cog ist kein Fine-Tuning-Verfahren, sondern hilft bei der Vorbereitung der Bereitstellung.
Wenn ein vorhandenes Modell Ihre Aufgabe bereits erfüllt, brauchen Sie weder Fine-Tuning noch ein eigenes Deployment. Prüfen Sie zuerst, ob der zusätzliche Daten- und Entwicklungsaufwand einen klaren Nutzen bringt.
Wer Anpassungen oder eine eigene Bereitstellung plant, sollte auch die Kosten einordnen. Sie hängen vor allem von Rechenzeit, Hardware und Modelltyp ab.
Welche Kosten entstehen bei der Nutzung?
Für die Kosten zählen sowohl die beanspruchte Hardware und Laufzeit als auch der Modelltyp. Hardwaretarife werden nach genutzter Rechenzeit berechnet.
Eine Laufzeitrechnung ist kein pauschaler Monatspreis. Die Kosten ändern sich mit der eingesetzten Hardware und der Dauer ihrer Nutzung.
Rechnen Sie mit Hardwaretarif und tatsächlicher Laufzeit, nicht mit einem festen Monatspreis.
Die folgenden Tarife zeigen die Kosten pro Sekunde und pro Stunde:
| Hardware | Ressourcen | Kosten pro Sekunde | Kosten pro Stunde |
|---|---|---|---|
| CPU | 4 vCPU, 8 GB RAM | $0.000100 | $0.36 |
| Nvidia T4 | 1 GPU, 4 vCPU, 16 GB RAM, 8 GB GPU-RAM | $0.000225 | $0.81 |
| Nvidia A40 | 1 GPU, 4 vCPU, 48 GB RAM, 16 GB GPU-RAM | $0.000575 | $2.07 |
| Nvidia A100 (80 GB) | 1 GPU, 10 vCPU, 144 GB RAM, 80 GB GPU-RAM | $0.001400 | $5.04 |
| 8x Nvidia A40 Large | 8 GPUs, 48 vCPU, 680 GB RAM, 8 GPUs mit je 48 GB GPU-RAM | $0.005800 | $20.88 |
Eine Nvidia A40 Large kostet $0.000725 pro Sekunde oder $2.61 pro Stunde. Sie bietet 1 GPU, 10 vCPU, 48 GB RAM und 48 GB GPU-RAM.
Eine Nvidia A100 mit 40 GB kostet $0.001150 pro Sekunde oder $4.14 pro Stunde. Sie bietet 1 GPU, 10 vCPU und 72 GB RAM.
Öffentliche Modelle werden nach Modelllaufzeit und Ressourcenkosten berechnet. Für ungenutzte CPU- und GPU-Rechenzeit fallen laut den angegebenen Hardwaretarifen keine Kosten an.
Sprachmodelle können nach Ein- und Ausgabetokens abgerechnet werden. Für LLaMA 2 70B kostet die Eingabe $0.65 pro 100.000 Tokens.
| Modelltyp | Abrechnungsgrundlage | Beispiel oder Zusatzkosten |
|---|---|---|
| Öffentliche Modelle | Modelllaufzeit und Ressourcenkosten | Hardwaretarif je nach eingesetzter Ressource |
| Sprachmodelle | Eingabe- und Ausgabetokens | LLaMA 2 70B: $0.65 je 100.000 Eingabetokens |
| Benutzerdefinierte Modelle | Modelllaufzeit und Ressourcenkosten | Einrichtungszeit und Leerlaufzeit können anfallen |
Bei benutzerdefinierten Modellen können neben der Laufzeit auch Einrichtungszeit und Leerlaufzeit Kosten verursachen. „Nur tatsächliche Nutzung“ gilt daher nicht pauschal für jeden Modelltyp.
Prüfen Sie vor dem Einsatz, welche Abrechnung für Ihr Modell gilt und welche Hardware es nutzt. Diese Kostenprüfung schafft eine realistische Grundlage für die Entscheidung.
Fazit
Replicate ist vor allem dann eine passende Option, wenn Sie ein bestimmtes KI-Modell gezielt in eine eigene Anwendung integrieren möchten. Ein gehostetes Modell per API kann den Betrieb eigener Modellinfrastruktur ersparen.
Prüfen Sie zuerst, ob ein vorhandenes Modell Ihre Aufgabe erfüllt. Fine-Tuning oder ein eigenes Deployment kommen infrage, wenn Sie ein Modell stärker anpassen oder selbst bereitstellen müssen.
Wählen Sie als nächsten Schritt ein Modell und eine repräsentative Testeingabe. Richten Sie das API-Token sicher ein und prüfen Sie die erwarteten Laufzeit- und Modellkosten. Testen Sie zuerst ein Modell mit einer repräsentativen Eingabe und planen Sie erst danach die dauerhafte Integration.
