AI-tokeniserare
Se hur text delas upp i tokens av olika LLM-modeller. Exakt tokenisering för OpenAI-modeller, uppskattningar för andra.
Inmatningstext
openaio200k_base · exakt tokenisering
Rader: 0Tecken: 0Ord: 0
Tokens
Ange text till vänster för att se tokenvisualisering