Startseite

AI on Demandpowered by Qwen

Qwen — Alibabas Open-Source-Sprachmodellfamilie, von 0.6 bis 235 Milliarden Parametern. stepping stone betreibt sie vollständig auf Schweizer GPU-Infrastruktur: als API, nach Verbrauch, ohne US-Abhängigkeit.

Unternehmen erhalten bei stepping stone Zugriff auf KI-Leistung, Modelle, GPU-Ressourcen, Speicher, Schnittstellen und Beratung, flexibel nach Bedarf. Also nicht ein starres Produktpaket, sondern eine skalierbare KI-Umgebung, die sicher in Schweizer Rechenzentren betrieben wird und zu den Anforderungen des Unternehmens passt.

Die Qwen-Modelle laufen vollständig auf Schweizer Infrastruktur. Keine Daten verlassen das Land. Zugang über eine OpenAI-kompatible API, direkt integrierbar in bestehende Anwendungen und Workflows.

Schweizer Unternehmen, die KI produktiv einsetzen wollen, ohne eigene GPU-Infrastruktur aufzubauen oder Daten an US-Anbieter zu übergeben. Besonders geeignet für regulierte Branchen, Behörden und KMU, die den Schritt von KI-Experimenten zur produktiven Anwendung machen wollen.

Typische Einsatzbereiche: Chatbots und Assistenzsysteme, Automatisierung und Analyse, Coding Assistenten, Dokumentenverarbeitung, agentische Workflows.

Für vielseitige Anwendungen empfehlen wir Qwen3.8-27B als ausgewogene Basis für Assistenz, Coding, multimodale Aufgaben und Agents.

Schweizer Rechenzentren. Open-Source-Modelle. Ihre Daten, Ihre Regeln. Sie behalten die volle Kontrolle über Ihre KI-Strategie, ohne Abhängigkeit von OpenAI, Google oder Amazon.

Persönliche Beratung von stepping stone, von der Modellwahl bis zur Integration. Und ein Preismodell, das nach Verbrauch abrechnet. Sie zahlen nur, was Sie nutzen.

Persönliche Beratung

Einsatzgebiete

Assistenz

Qwen eignet sich für den Aufbau intelligenter Assistenzsysteme — von einfachen Chatbots bis zur komplexen Dialogsteuerung.

Teams setzen es ein für automatisierten Kundendienst, interne Wissenssuche und mehrsprachige Analyseworkflows. Dank der Modellbreite lässt sich das richtige Modell für jeden Zweck wählen — vom kompakten 0.6B für Edge-Anwendungen bis zum 235B-Flaggschiff für anspruchsvolle Aufgaben.

Entwicklung

Als Coding Assistant und Basis für agentische Workflows hat sich Qwen in der Entwicklerpraxis bewährt.

Das Modell generiert, analysiert und reviewed Code in über 20 Programmiersprachen. Für agentische Setups unterstützt es Function Calling, Tool-Integration und mehrschrittige Aufgabenplanung — auf Schweizer Infrastruktur, integrierbar über eine OpenAI-kompatible API.

Benchmark

Die Benchmarks wurden mit dem vllm-Benchmark-Tool am produktiven API-Gateway gemessen. Die Standard-Eingabegrössen waren 1024 Tokens Input, 256 Tokens Output. 

1024 Tokens entsprechen 2-3 Buchseiten bzw. 500 - 750 Wörtern.

Eine Schritt-für-Schritt-Anleitung zur Durchführung von Benchmarks mit dem Tool „vllm bench“ findet man in GitHub .

Aufruf

# Set your personal key:
STONEY_KEY=sk-...

# Make key visible for vllm bench:
export OPENAI_API_KEY=$STONEY_KEY

# Start the benchmark
vllm bench serve \
 --backend openai-chat \
 --model "Qwen/Qwen3.8-27B" \
 --base-url llm.stoney-cloud.com \
 --endpoint /v1/chat/completions \
 --dataset-name random \
 --random-input-len 1024 \
 --random-output-len 256 \
 --num-prompts 50 \
 --max-concurrency 1 \ \
 --percentile-metrics e2el

Resultat

============ Serving Benchmark Result ============
Successful requests:                     50        
Failed requests:                         0         
Maximum request concurrency:             1         
Benchmark duration (s):                  278.63    
Total input tokens:                      53820     
Total generated tokens:                  12800     
Request throughput (req/s):              0.18      
Output token throughput (tok/s):         45.94     
Peak output token throughput (tok/s):    139.00    
Peak concurrent requests:                2.00      
Total token throughput (tok/s):          239.10    
----------------End-to-end Latency----------------
Mean E2EL (ms):                          5572.20   
Median E2EL (ms):                        5687.93   
P99 E2EL (ms):                           6915.61   
==================================================

Legende

  • Successful requests: Erfolgreiche Prompt Anfragen
  • Failed requests: Nicht erfolgreiche Prompts
  • Maximum request concurrency: Wie viele Anfragen verarbeitet das Model gleichzeitig.
  • Benchmark duration (s): Die Dauer des Benchmarkdurchlaufs in Sekunden.
  • Total input tokens: Die Gesamtanzahl der eingegeben Tokens.
  • Total generated tokens: Die Summe der vom Modell generierten Tokens.
  • Request throughput (req/s): Die Anzahl Anfragen welche pro Sekunde verarbeitet werden.
  • Output token throughput (tok/s): Die durchschnittliche Anzahl der Tokens, welche pro Sekunde generiert werden.
  • Peak output token throughput (tok/s): Die maximale gemessene Anzahl der Output tokens pro Sekunde.
  • Peak concurrent requests: Die maximale gemessene Anzahl der gleichzeitig verarbeiteten Anfragen.
  • Total token throughput (tok/s): Der Durchschnitt aller verarbeiteten Tokens während der Messung.
  • Mean End to End Latency (E2EL) (ms): Der Durchschnitt der vergangenen Zeit zwischen Eingabe und vollendeter Ausgabe.
  • Median E2EL (ms): Die zuerwartende Zeit zwischen Eingabe und vollendeter Ausgabe.
  • p99 E2EL (ms): Die im "worst case" vergangene Zeit bis zur vollendeten Ausgabe.

Preise

ModellKontextlängeInput/MTokOutput/MTok
Qwen3.5-35B-A3B-FP8128k0.17001.0000
Qwen3-Coder-Next256k0.34001.7000
Qwen3.8-27B256k0.25001.5000
Alle Preise in CHF/MTok exkl. Mehrwertsteuer.

Wir verwenden Cookies, um unsere Website und unseren Service zu optimieren. Weitere Informationen findest du in unserer Datenschutzerklärung.