Streaming in AI on Demand

Wir haben in unserem AI on Demand Angebot das optionale Streaming für Chat-Vervollständigungen aktiviert. Die Antworten können nun schrittweise ausgegeben werden, anstatt am Ende als ein einziger vollständiger Block.

Der Hauptvorteil liegt in der wahrgenommenen Reaktionsgeschwindigkeit. Durch das Streaming generiert das Modell die Ergebnisse zwar nicht schneller, aber es ermöglicht es den Anwendungen, Text anzuzeigen, sobald er verfügbar ist. Dies ist besonders nützlich für Chat-Schnittstellen, Copiloten und Inhaltsassistenten, bei denen die Benutzer mit dem Lesen beginnen können, ohne auf die vollständige Antwort warten zu müssen.

Für das Streaming werden der bestehende API-Endpunkt und die bestehende Authentifizierung verwendet. Bestehende Integrationen funktionieren weiterhin unverändert, und vollständige Antworten stehen nach wie vor dort zur Verfügung, wo sie bevorzugt werden.

Weitere Informationen zur Nutzung von Streaming sowie praktische Beispiele für die Konsole finden Sie in unserer Dokumentation.