Skip to content

Schnelleinstieg

💡 Hinweis: Diese Anleitung richtet sich an Administratoren und Entwickler, die das Gateway einrichten und API-Anfragen senden. Wenn Sie nur chatten möchten, lesen Sie stattdessen Chat.

Diese Anleitung führt Sie von der ersten Anmeldung bis zu einer funktionierenden Inferenz-Anfrage. Führen Sie die Schritte unter Zugang erhalten aus, bevor Sie beginnen.

Stellen Sie vor dem Start sicher, dass die folgenden Voraussetzungen erfüllt sind:

  • ☑ Sie haben sich in der Admin-Oberfläche unter https://<Ihr-Gateway-Host>/ angemeldet.
  • ☑ Sie haben Ihren Provider-API-Schlüssel (zum Beispiel einen OpenAI-API-Schlüssel) zur Hand.

Einen Mandanten anlegen

Gehen Sie wie folgt vor, um einen Mandanten anzulegen:

  1. Öffnen Sie Benutzerverwaltung › Mandanten (Benutzerblock unten in der linken Seitenleiste → Benutzerverwaltung → Mandanten; nur Admin).
  2. Klicken Sie auf die Schaltfläche + Neuer Mandant.
  3. Der Dialog Neuer Mandant öffnet sich.
  4. Geben Sie einen Wert im Feld Slug ein. Zum Beispiel: myapp.
  5. Klicken Sie auf die Schaltfläche Mandant erstellen.

-> Der neue Mandant erscheint in der Liste der Mandanten.

Ein Gateway anlegen

Gateway-Liste nach dem Anlegen eines Gateways

Gehen Sie wie folgt vor, um innerhalb des Mandanten ein Gateway anzulegen:

  1. Öffnen Sie die Ansicht Gateways.
  2. Klicken Sie auf die Schaltfläche + Neues Gateway.
  3. Der Dialog Neues Gateway öffnet sich.
  4. Geben Sie einen Wert im Feld Slug ein. Zum Beispiel: production.
  5. Klicken Sie auf die Schaltfläche Gateway erstellen.

-> Das Gateway wird erstellt und dem Mandanten zugeordnet.

⚠️ Achtung: Standardmäßig verlangen Gateways bei jeder Inferenz-Anfrage einen Auth-Token. Um die Authentifizierung beim Ausprobieren zu überspringen, öffnen Sie die Detailansicht des Gateways, klicken Sie auf Bearbeiten, deaktivieren Sie das Kontrollkästchen Auth-Token erforderlich und speichern Sie. Aktivieren Sie das Kontrollkästchen wieder, bevor Sie in den Produktivbetrieb gehen.

Einen Provider-Schlüssel hinterlegen

Gateway-Detailansicht mit der Karte „Anbieter-Schlüssel“

Gehen Sie wie folgt vor, um einen Provider-API-Schlüssel im Gateway zu hinterlegen:

  1. Öffnen Sie die Ansicht Gateways.
  2. Klicken Sie auf die Schaltfläche Öffnen → des Gateways.
  3. Die Detailansicht des Gateways öffnet sich.
  4. Suchen Sie die Karte Anbieter-Schlüssel.
  5. Klicken Sie auf die Schaltfläche Modell hinzufügen.
  6. Der Dialog Modell hinzufügen öffnet sich.
  7. Wählen Sie openai in der Auswahlliste Provider (oder einen beliebigen anderen Provider).
  8. Belassen Sie den Wert Alias bei default.
  9. Fügen Sie den API-Schlüssel im Feld API-Schlüssel ein.
  10. Klicken Sie auf die Schaltfläche Schlüssel speichern.

-> Der neue Eintrag erscheint in der Karte Anbieter-Schlüssel. Der Schlüssel wird verschlüsselt gespeichert; der Klartext wird nie an die Oberfläche zurückgegeben.

Ihre erste Anfrage senden

Jede Anfrage trägt einen Gateway-Token im Header Authorization: Bearer (oder im Header x-aig-token). Erzeugen Sie zuerst einen Token auf dem Gateway oder deaktivieren Sie Auth-Token erforderlich wie oben beschrieben, um beim Ausprobieren nicht authentifizierte Anfragen zu senden.

Provider-nativer Endpunkt

Senden Sie eine Anfrage direkt an einen bestimmten Provider über den provider-nativen Endpunkt:

curl -s -X POST \
  "https://<Ihr-Gateway-Host>/v1/myapp/production/openai/chat/completions" \
  -H 'Content-Type: application/json' \
  -H 'Authorization: Bearer <GATEWAY_TOKEN>' \
  -d '{
    "model": "gpt-4o",
    "messages": [{"role": "user", "content": "Hallo!"}]
  }'

OpenAI-kompatibler einheitlicher Endpunkt

Der Compat-Endpunkt leitet den Provider aus dem Modellnamen ab:

curl -s -X POST \
  "https://<Ihr-Gateway-Host>/v1/myapp/production/compat/chat/completions" \
  -H 'Content-Type: application/json' \
  -H 'Authorization: Bearer <GATEWAY_TOKEN>' \
  -d '{
    "model": "gpt-4o",
    "messages": [{"role": "user", "content": "Hallo!"}]
  }'

Eine erfolgreiche Antwort sieht so aus:

{
  "id": "chatcmpl-...",
  "object": "chat.completion",
  "model": "gpt-4o",
  "choices": [{"message": {"role": "assistant", "content": "Hallo! Wie kann ich helfen?"}}],
  "usage": {"prompt_tokens": 10, "completion_tokens": 9, "total_tokens": 19}
}

-> Das Gateway leitet die Anfrage an den Provider weiter und gibt die Antwort an den Client zurück.

Das Anfrageprotokoll prüfen

Gehen Sie wie folgt vor, um zu überprüfen, ob die Anfrage aufgezeichnet wurde:

  1. Öffnen Sie Protokolle über den Benutzerblock unten in der linken Seitenleiste → Einstellungen → Protokolle.
  2. Die Ansicht Protokolle öffnet sich. Ihre Anfrage erscheint oben in der Liste — mit Provider, Modell, Token-Anzahl, Kosten und Latenz.

-> Der Protokolleintrag bestätigt, dass das Gateway die Anfrage verarbeitet und aufgezeichnet hat.

Nächste Schritte