AI Tokenizer
Sehen Sie, wie Text von verschiedenen LLM-Modellen in Tokens aufgeteilt wird. Exakte Tokenisierung für OpenAI-Modelle, Schätzungen für andere.
Eingabetext
openaio200k_base · exakte Tokenisierung
Zeilen: 0Zeichen: 0Wörter: 0
Tokens
Text links eingeben, um die Token-Visualisierung zu sehen