Logo
Ziehen & skalieren im Bearbeitungsmodus
Live-Übersicht Karten
Vergleich

Vergleich

Gateway-Abgabe = (Gateway - Direkt).
Auto-pick: Direct + GW Mini trend · last samples
So messen wir

Methodik

Jeder Latenzwert stammt aus vollständigen Chat-Prompts, die zum Provider gesendet werden; wir warten auf gestreamte Antworten und erfassen Provider-Overhead, Denkzeit des Modells und Transport.

  • Samples fassen echte Gesprächsverläufe zusammen, keine Pings.
  • Gateway-Abgabe = Gateway-Latenz - Direkt-Latenz.
  • Freshness-Badges kombinieren Sample-Anzahl und Zeitstempel des letzten Laufs.
Rankings

Avg heute (UTC)

Top 10 · min 3 samples
#2 Groq Direct openai/gpt-oss-120b
n=33
120 ms
#3 Groq Direct openai/gpt-oss-20b
n=50
121 ms
#4 Groq Direct llama-3.1-8b-instant
n=33
177 ms
#5 Mistral Direct open-mistral-7b
n=33
181 ms
#6 Mistral Direct voxtral-mini-latest
n=33
184 ms
n=33
185 ms
#8 Mistral Direct voxtral-small-latest
n=49
186 ms
#9 Groq Direct groq/compound
n=33
194 ms
#10 Mistral Direct voxtral-small-2507
n=49
196 ms

Schnellste Messung (letzte 20m)

Top 10 · min 1 sample
#1 Groq Direct openai/gpt-oss-20b
n=10
64 ms
#3 Groq Direct openai/gpt-oss-120b
n=7
109 ms
#4 Groq Direct groq/compound
n=7
118 ms
#5 Groq Direct llama-3.1-8b-instant
n=7
132 ms
#6 Mistral Direct voxtral-mini-latest
n=7
132 ms
#7 Mistral Direct voxtral-small-latest
n=10
134 ms
#8 Mistral Direct pixtral-12b-latest
n=7
135 ms
#9 Mistral Direct open-mistral-7b
n=7
144 ms
#10 Groq Direct qwen/qwen3-32b
n=7
144 ms
Latenzverlauf
Latenzverlauf

Legend

API-Server-Karte

API-Server-Karte

Live endpoints
Top regions
Data lädt …
Marker zeigen beobachtete API-Endpoint-IPs (GeoIP gecacht).
Wir messen aus Deutschland; unser Server ist auf der Karte markiert.