AI on Demandpowered by NVIDIA

NVIDIA Nemotron 3 Super: Hybride Mamba-Transformer-Architektur mit Mixture-of-Experts, 120 Milliarden Parametern und einem Kontextfenster von bis zu 1 Million Tokens. 12 Milliarden Parameter aktiv pro Anfrage — betrieben von stepping stone auf Schweizer Infrastruktur.

NVIDIA Nemotron 3 Super ist ein Open-Weight-Sprachmodell mit einer hybriden Mamba-Transformer-Architektur und Mixture-of-Experts (MoE). Von den 120 Milliarden Parametern sind pro Anfrage nur rund 12 Milliarden aktiv — das ermöglicht Frontier-Leistung bei effizientem Ressourceneinsatz.

Das Modell verarbeitet Kontexte von bis zu 1 Million Tokens — genug für ganze Dokumentensammlungen, Codebases oder mehrstündige Gesprächsverläufe in einer Anfrage. Es beherrscht 7 Sprachen (darunter Deutsch), bietet konfigurierbares Reasoning und ist gezielt für agentische Workflows, Tool-Integration und RAG-Szenarien trainiert. stepping stone betreibt Nemotron 3 Super vollständig auf Schweizer Infrastruktur — Ihre Daten bleiben in der Schweiz.

Unternehmen und Entwicklungsteams, die ein leistungsstarkes Sprachmodell für komplexe Aufgaben brauchen — ohne Abhängigkeit von US-Cloud-Diensten. Besonders geeignet für Organisationen mit langen Dokumenten, mehrsprachigen Anforderungen oder agentischen Workflows.

Typische Einsatzbereiche: Analyse und Zusammenfassung grosser Dokumentenbestände, agentische Workflows mit Tool-Anbindung und autonomer Planung, RAG-Szenarien mit umfangreichem Kontext, Code-Generierung und Code Reviews, Automatisierung von IT-Workflows und wiederkehrenden Aufgaben.

Open Weights (NVIDIA Nemotron Open Model License). Schweizer Rechenzentren. Kein Vendor Lock-in.

Bis zu 1 Million Token Kontextfenster — eines der grössten am Markt. Dank MoE-Architektur effizient trotz 120 Milliarden Parametern. Konfigurierbares Reasoning: ein- oder ausschaltbar je nach Aufgabe. NVIDIA als Entwickler steht für Zuverlässigkeit und kontinuierliche Weiterentwicklung. Persönliche Beratung und Betrieb durch stepping stone aus Bern.

Persönliche Beratung

Leistungsumfang

KI-Modell auf Abruf

Zugriff auf NVIDIA Nemotron 3 Super für Reasoning, agentische Workflows und komplexe Textaufgaben. Bis zu 1 Million Token Kontextfenster für die Verarbeitung ganzer Dokumentensammlungen in einer Anfrage.

GPU-Leistung nach Bedarf

Skalierbare Rechenleistung auf Schweizer Infrastruktur. Dank MoE-Architektur besonders effizient: 120 Milliarden Parameter, nur 12 Milliarden aktiv pro Anfrage.

Betreuter Betrieb

Bereitstellung, Monitoring, Wartung und Support auf Schweizer Infrastruktur mit persönlicher Beratung. stepping stone kümmert sich um den Betrieb, damit Sie sich auf den Nutzen konzentrieren können.

Einsatzgebiete

Dokumentenanalyse

Mit 1 Million Token Kontextfenster verarbeitet Nemotron 3 Super ganze Dokumentensammlungen, Codebases oder mehrstündige Gesprächsverläufe in einer einzigen Anfrage.

Unternehmen nutzen es für die Analyse umfangreicher Berichte, rechtlicher Dokumente und technischer Dokumentationen. Konfigurierbares Reasoning lässt sich je nach Aufgabe ein- oder ausschalten — für präzise Ergebnisse ohne unnötigen Rechenaufwand.

Reasoning & Analyse

Nemotron 3 Super ist für komplexes mehrstufiges Reasoning ausgelegt — mit autonomer Aufgabenplanung und Tool-Integration.

RAG-Szenarien mit grossem Kontext, IT-Workflow-Automatisierung und Code-Generierung profitieren von der MoE-Effizienz: Frontier-Leistung bei effizientem Ressourceneinsatz, kompatibel mit Standard-API-Clients, vollständig auf Schweizer Infrastruktur.

Benchmark

Die Benchmarks wurden mit dem vllm-Benchmark-Tool am produktiven API-Gateway gemessen. Die Standard-Eingabegrössen waren 1024 Tokens Input, 256 Tokens Output.

1024 Tokens entsprechen 2-3 Buchseiten bzw. 500 - 750 Wörtern.

Eine Schritt-für-Schritt-Anleitung zur Durchführung von Benchmarks mit dem Tool „vllm bench“ findet man in GitHub .

 

Aufruf

# Persönlichen Schlüssel festlegen:
STONEY_KEY=sk-...

# Schlüssel für das Bench-Skript sichtbar machen:
export OPENAI_API_KEY=$STONEY_KEY

# Benchmark starten:
vllm bench serve \
 --backend openai-chat \
 --model "NVIDIA/NVIDIA-Nemotron-3-Super-120B-A12B" \
 --base-url llm.stoney-cloud.com \
 --endpoint /v1/chat/completions \
 --dataset-name random \
 --random-input-len 1024 \
 --random-output-len 256 \
 --num-prompts 50 \
 --max-concurrency 1 \
 --tokenizer "Qwen/Qwen2.5-7B-Instruct" \
 --percentile-metrics e2el

 

Resultat

============ Serving Benchmark Result ============
Successful requests:                     50        
Failed requests:                         0         
Maximum request concurrency:             1         
Benchmark duration (s):                  148.22    
Total input tokens:                      77237     
Total generated tokens:                  12544     
Request throughput (req/s):              0.33      
Output token throughput (tok/s):         84.63     
Peak output token throughput (tok/s):    257.00    
Peak concurrent requests:                2.00      
Total token throughput (tok/s):          605.72    
----------------End-to-end Latency----------------
Mean E2EL (ms):                          2964.11   
Median E2EL (ms):                        2964.38   
P99 E2EL (ms):                           3042.63   
==================================================

 

Legende

  • Successful requests: Erfolgreiche Prompt Anfragen
  • Failed requests: Nicht erfolgreiche Prompts
  • Maximum request concurrency: Wie viele Anfragen verarbeitet das Model gleichzeitig.
  • Benchmark duration (s): Die Dauer des Benchmarkdurchlaufs in Sekunden.
  • Total input tokens: Die Gesamtanzahl der eingegeben Tokens.
  • Total generated tokens: Die Summe der vom Modell generierten Tokens.
  • Request throughput (req/s): Die Anzahl Anfragen welche pro Sekunde verarbeitet werden.
  • Output token throughput (tok/s): Die durchschnittliche Anzahl der Tokens, welche pro Sekunde generiert werden.
  • Peak output token throughput (tok/s): Die maximale gemessene Anzahl der Output tokens pro Sekunde.
  • Peak concurrent requests: Die maximale gemessene Anzahl der gleichzeitig verarbeiteten Anfragen.
  • Total token throughput (tok/s): Der Durchschnitt aller verarbeiteten Tokens während der Messung.
  • Mean End to End Latency (E2EL) (ms): Der Durchschnitt der vergangenen Zeit zwischen Eingabe und vollendeter Ausgabe.
  • Median E2EL (ms): Die zuerwartende Zeit zwischen Eingabe und vollendeter Ausgabe.
  • p99 E2EL (ms): Die im "worst case" vergangene Zeit bis zur vollendeten Ausgabe.
  • Tokenizer: Der Tokenizer wird benutzt, um dem gemessenen Modell während einem Benchmark Anfragen zu übermitteln. Das sind in der Regel öffentliche kleine Modelle, wie zum Beispiel Qwen/Qwen2.5-7B-Instruct.

Preise

ModellKontextlängeInput/MTokOutput/MTok
NVIDIA-Nemotron-3-Super-120B-A12B131k2.00005.0000
Alle Preise in CHF/MTok exkl. Mehrwertsteuer.