Architektur: Provider, Modell, Gruppe
FIM One organisiert die LLM-Konfiguration in drei Ebenen:Anbieter hinzufügen
1
Öffnen Sie die Seite "Modelle"
Navigieren Sie zu Admin (Seitenleiste) und wählen Sie die Registerkarte Modelle aus.
2
Klicken Sie auf "Anbieter hinzufügen"
Klicken Sie auf die Schaltfläche Anbieter hinzufügen im oberen rechten Bereich des Abschnitts „Anbieter”.
3
Wählen Sie eine Voreinstellung oder verwenden Sie einen benutzerdefinierten Endpunkt
Das Dialogfeld zeigt Voreinstellungsschaltflächen für gängige Anbieter: OpenAI, Anthropic (Claude), Google Gemini, DeepSeek, Mistral AI und OpenAI Compatible (benutzerdefinierter Endpunkt). Durch Klicken auf eine Voreinstellung werden der Anbieter-Name und die Basis-URL automatisch ausgefüllt.Wählen Sie OpenAI Compatible, wenn Ihr Anbieter nicht aufgelistet ist (z. B. ein Drittanbieter-Relay, Ollama oder ein anderer OpenAI-kompatibler Endpunkt).
4
Geben Sie Anmeldedaten ein
Füllen Sie die erforderlichen Felder aus:
- Anbieter-Name – Eine benutzerfreundliche Bezeichnung (z. B. „Mein OpenAI-Konto”). Dies dient nur als Referenz für Sie.
- Basis-URL – Der API-Endpunkt. Voreinstellungen füllen dies automatisch aus. Geben Sie für benutzerdefinierte Endpunkte die vollständige URL ein (z. B.
http://localhost:11434/v1für Ollama). - API-Schlüssel – Der API-Schlüssel Ihres Anbieters. Geben Sie für lokale Modelle (Ollama) eine beliebige nicht-leere Zeichenkette ein (z. B.
ollama).
5
Speichern
Klicken Sie auf Erstellen. Der Anbieter wird in der Liste angezeigt und ist bereit, damit Sie Modelle unter ihm hinzufügen können.
Ein Modell hinzufügen
1
Einen Anbieter erweitern
Klicken Sie auf der Seite „Modelle” auf das Chevron neben einem vorhandenen Anbieter, um ihn zu erweitern und seine Modelle anzuzeigen.
2
Klicken Sie auf "Modell hinzufügen"
Klicken Sie auf die Schaltfläche Modell hinzufügen, die unter dem erweiterten Anbieter angezeigt wird.
3
Modelldetails eingeben
Füllen Sie die zwei erforderlichen Felder aus:
- Anzeigename — Ein benutzerfreundlicher Name, der in der Benutzeroberfläche angezeigt wird (z. B. „GPT-4o”, „Claude Sonnet”). Kann beliebig sein.
- Modellname (API) — Der genaue Modellbezeichner, der an die API gesendet wird (z. B.
gpt-4o,claude-sonnet-4-6,deepseek-chat). Dies muss dem entsprechen, was Ihr Anbieter erwartet.
4
Erweiterte Einstellungen konfigurieren (optional)
Klicken Sie auf den Schalter Erweitert, um zusätzliche Einstellungen anzuzeigen: Max. Ausgabe-Token, Kontextgröße, Temperatur, Native Funktionsaufrufe und JSON-Modus. Weitere Informationen zu den einzelnen Einstellungen finden Sie im Abschnitt Erweiterte Einstellungen unten.
5
Speichern
Klicken Sie auf Erstellen. Das Modell wird unter seinem Anbieter angezeigt und ist nun verfügbar, um es Modellgruppen zuzuweisen.
Erweiterte Einstellungen
Jedes Modell verfügt über erweiterte Einstellungen, die steuern, wie FIM One mit der API des Anbieters für die Extraktion strukturierter Ausgaben interagiert. Diese Einstellungen finden Sie unter dem Umschalter Erweitert im Dialog zum Erstellen/Bearbeiten von Modellen.Native Function Calling
Setting name: Native Function Calling (stored astool_choice_enabled)
Default: ON
Controls whether FIM One uses forced tool_choice for structured output extraction. This is Level 1 in the structured output degradation chain — the most reliable method when the model supports it.
When to disable:
- Your model returns errors like
"tool_choice 'specified' is incompatible with thinking enabled". This is a per-provider rule rather than a property of thinking models:deepseek-reasonerand the thinking Kimi models reject a forced tool choice, while MiniMax thinks on every call and accepts one. Table B of the Provider Capability Matrix has the verdict for each provider - Structured output requests are consistently slow with a ~10-second penalty per call, followed by a fallback to JSON Mode anyway
tool_choice="auto", which works with all models regardless of this setting.
This setting only affects forced tool selection used for structured output extraction (DAG planning, schema annotation). It does not affect the ReAct agent, which freely decides when to call tools using
tool_choice="auto".JSON Mode
Einstellungsname: JSON Mode (gespeichert alsjson_mode_enabled)
Standard: AN
Steuert, ob FIM One response_format=json_object für strukturierte Ausgaben verwendet. Dies ist Level 2 in der Degradationskette.
Wann deaktivieren:
- Ihr Provider lehnt Assistant Message Prefill ab — hauptsächlich AWS Bedrock Relays, die
"This model does not support assistant message prefill"werfen
Temperatur
Standard: 0.7 (geerbt von der globalen Einstellung, wenn nicht festgelegt) Steuert die Zufälligkeit der Modellausgabe. Bereich: 0 (deterministisch) bis 2 (hochkreativ).Wenn Reasoning/Extended Thinking für Anthropic-Modelle aktiviert ist, wird die Temperatur vom System automatisch auf 1.0 erzwungen. Sie müssen dies nicht manuell festlegen.
Max Output Tokens
Die maximale Anzahl von Tokens, die das Modell in einer einzelnen Antwort generieren kann. Lassen Sie dieses Feld leer, um den Systemstandard (64.000) zu verwenden. Für lokale Modelle mit begrenztem VRAM sollten Sie diesen Wert explizit auf einen niedrigeren Wert setzen (z. B. 8192).Kontextfenstergröße
Die Größe des Kontextfensters des Modells in Token. Lassen Sie dieses Feld leer, um den Systemstandard (128.000) zu verwenden. Stellen Sie diesen Wert so ein, dass er der tatsächlichen Kapazität Ihres Modells entspricht – bei lokalen Modellen liegt dieser Wert je nach Modell und verfügbarem Speicher oft zwischen 4K und 32K.Empfohlene Konfiguration
Die meisten Modelle funktionieren korrekt mit den Standardeinstellungen (beide Schalter AN). Passen Sie die Einstellungen nur an, wenn Sie auf Fehler oder unnötige Latenz stoßen. Die folgende Tabelle behandelt häufige Anbieter und Modelle. Daten stammen aus UniAPI-Funktionsetiketten und wurden gegen das Laufzeitverhalten vom 2026-03-22 überprüft. Modellfunktionen ändern sich häufig – wenn Sie auf Fehler stoßen, überprüfen Sie die neueste Dokumentation Ihres Anbieters. Dies ist die Pro-Modell-Operatoransicht: welche Schalter beim Hinzufügen eines Modells gesetzt werden sollen. Die Anbieter-Ebenen-Regeln, denen es folgt, mit den Code-Ankern, die sie implementieren, befinden sich in der Provider Capability Matrix. Falls die beiden jemals nicht übereinstimmen, ist die Matrix maßgeblich und diese Tabelle muss aktualisiert werden.Schnellregeln
- Native FC AN für Modelle mit Funktionsaufrufen-Unterstützung (die meisten modernen Modelle)
- Native FC AUS für Modelle mit ständiger Denkfunktion, die erzwungene
tool_choiceablehnen - JSON Mode AN für die meisten Modelle (sichere Standardeinstellung)
- JSON Mode AUS nur für AWS Bedrock-Relays (Prefill-Ablehnung)
Matrix der Konfiguration pro Anbieter
OpenAI
Anthropic (Claude)
Google Gemini
DeepSeek
xAI (Grok)
Qwen (Alibaba Cloud)
Zhipu (GLM)
Moonshot (Kimi)
MiniMax
ByteDance (Doubao)
Meta (Llama)
”—” bei Max. Ausgabe bedeutet, dass der Anbieter kein Limit gemeldet hat. In der Praxis unterstützen diese Modelle normalerweise 4K-16K Ausgabe-Token. Legen Sie Max. Ausgabe-Token explizit in den erweiterten Einstellungen des Modells fest, wenn Sie einen bestimmten Wert benötigen.
Modellgruppen
Mit Modellgruppen können Sie Modelle bestimmten Rollen zuweisen und mit einem einzigen Klick zwischen Konfigurationen wechseln.Rollen
FIM One verwendet drei Modellrollen. Jede Rolle erfüllt einen anderen Zweck in der Ausführungs-Pipeline:Erstellen einer Modellgruppe
1
Öffnen Sie den Bereich "Gruppen"
Scrollen Sie auf der Seite Admin > Modelle zum Bereich Modellgruppen.
2
Klicken Sie auf "Gruppe hinzufügen"
Klicken Sie auf die Schaltfläche Gruppe hinzufügen.
3
Benennen Sie die Gruppe
Geben Sie einen aussagekräftigen Namen ein (z. B. „Production (OpenAI)”, „Budget (DeepSeek)”, „Local Dev”).
4
Weisen Sie Modelle Rollen zu
Wählen Sie für jede Rolle (General, Fast, Reasoning) ein Modell aus dem Dropdown-Menü aus. Das Dropdown-Menü zeigt alle aktiven Modelle von aktiven Anbietern, gruppiert nach Anbieter-Name. Sie können eine Rolle nicht zugewiesen lassen – sie wird dann auf das Modell „General” zurückgreifen (oder auf ENV-konfigurierte Modelle, wenn „General” ebenfalls nicht zugewiesen ist).
5
Speichern
Klicken Sie auf Erstellen. Die Gruppe ist nun zur Aktivierung verfügbar.
Eine Gruppe aktivieren
Um eine Modellgruppe zu aktivieren, verwenden Sie das Dropdown-Menü oder die Aktivierungskontrolle auf der Seite „Modelle”. Es kann jeweils nur eine Gruppe aktiv sein. Das Aktivieren einer Gruppe wendet ihre Modellzuweisungen sofort auf alle neuen Gespräche an. Um die aktuelle Gruppe zu deaktivieren (Rückgriff auf ENV-konfigurierte Modelle), wählen Sie die Deaktivierungsoption.Domänenspezifische Modellstufenerhöhung
Wenn der Auto-Router eine spezialisierte Domäne erkennt — legal, medizinisch oder finanziell — eskaliert das System automatisch die Modellauswahl über die normalen Rollenzuweisungen hinaus:- ReAct-Modus: Das allgemeine Modell wird durch das Reasoning-Modell (
registry.get_by_role("reasoning")) ersetzt. Das bedeutet, dass der Reasoning-Slot in Ihrer Modellgruppe nicht nur für DAGmodel_hint="reasoning"Schritte verwendet wird — er dient auch als Eskalationsziel für domänenspezifische ReAct-Aufgaben. - DAG-Modus: Domänenkontext wird in den Planner-Prompt eingefügt und leitet ihn an,
model_hint="reasoning"Schritte zuzuweisen, die spezialisierte Genauigkeit erfordern.
REASONING_LLM_MODEL Umgebungsvariable) hinaus.
Zugehörige Umgebungsvariablen:
ENV-Fallback
Wenn keine vom Administrator konfigurierte Modellgruppe aktiv ist, greift FIM One auf ENV-basierte Konfiguration zurück:
Vom Administrator konfigurierte Modelle haben immer Vorrang vor ENV-Variablen. Die Systemgesundheitsprüfung berücksichtigt beide Quellen – solange entweder eine aktive Modellgruppe oder gültige ENV-Variablen konfiguriert sind, meldet das LLM-Subsystem einen fehlerfreien Status.
Die vollständige ENV-Referenz finden Sie unter Umgebungsvariablen.
Export und Import
Die Seite „Models” unterstützt den Export Ihrer gesamten Anbieter- und Modellkonfiguration (Anbieter, Modelle und Gruppen) als JSON-Datei und deren Import auf einer anderen Instanz. Dies ist nützlich für:- Migration der Konfiguration zwischen Entwicklungs-, Staging- und Produktionsumgebungen
- Austausch einer bekanntermaßen funktionierenden Modellkonfiguration mit Teammitgliedern
- Sicherung Ihrer Konfiguration vor Änderungen