Los modelos de lenguaje (LLMs) no procesan caracteres ni palabras, sino «tokens»: fragmentos de texto que pueden ser una palabra, parte de una palabra o un signo. Saber cuántos tokens consume un texto ayuda a estimar costes y a no exceder el límite de contexto. Pega tu texto y elige un modelo para ver el conteo y cómo se divide en tokens. Todo se calcula en tu navegador.

Ejemplo: «hello world» son 2 tokens en los modelos de OpenAI.