Los tokens de inteligencia artificial son las unidades que utilizan modelos como ChatGPT para procesar las instrucciones de los usuarios y generar respuestas. Pueden representar una palabra completa, una parte de ella, un carácter, un espacio o un signo de puntuación.
Aunque suelen relacionarse con el número de palabras, ambos conteos no son iguales. La cantidad de tokens depende del idioma, la forma de escribir el texto, la puntuación y el sistema de codificación del modelo.
¿Cómo utiliza ChatGPT los tokens?
Cuando una persona escribe una pregunta, el sistema divide el contenido en fragmentos llamados tokens. Después procesa esas unidades y genera otros tokens para construir la respuesta visible. En los modelos de razonamiento también pueden utilizarse tokens internos que no aparecen directamente en el resultado.
Por esta razón, una respuesta breve no siempre significa que se haya utilizado una cantidad igualmente pequeña de tokens. El procesamiento incluye tanto la información enviada por el usuario como el contenido generado por el modelo.
¿Por qué son importantes los tokens?
Los modelos tienen límites sobre la cantidad de información que pueden procesar en una misma solicitud. Ese espacio se conoce como ventana de contexto y puede variar según el modelo. Cuando un texto, una conversación o un documento supera el límite disponible, es necesario resumirlo, dividirlo o retirar información repetida.
Los tokens también influyen en el funcionamiento de herramientas que analizan documentos extensos, conversaciones largas, imágenes, archivos o instrucciones complejas. En esos casos, el conteo total puede incluir elementos adicionales de la solicitud y no únicamente el texto visible.
¿Los tokens tienen un costo al usar ChatGPT?
No todos los usos de ChatGPT implican un cobro individual por token. Es importante distinguir entre utilizar la aplicación o el sitio web de ChatGPT y acceder a modelos mediante la API de OpenAI.
En la API, el precio puede calcularse con base en los tokens de entrada y de salida. Los primeros corresponden a la información proporcionada al modelo, mientras que los segundos son los que genera. También pueden existir categorías como tokens de entrada almacenados en caché y tokens de razonamiento, cuyas condiciones dependen del modelo y del servicio utilizado.
¿Cómo se pueden contar?
Para revisar cómo se divide un texto, es posible utilizar un tokenizador. En desarrollos con la API también puede emplearse una herramienta de conteo de tokens de entrada o una biblioteca compatible con el modelo seleccionado.
- Escribe instrucciones claras y elimina información que no sea necesaria.
- Divide los documentos extensos en secciones antes de analizarlos.
- Evita repetir datos o instrucciones dentro de una misma solicitud.
- Consulta los límites de contexto y salida del modelo que utilices.
Las estimaciones generales sirven para dimensionar un texto, pero no sustituyen el conteo real. Además, una solicitud puede incluir mensajes, herramientas, archivos, imágenes y otros elementos que modifican la cantidad total de tokens.
Comprender este concepto ayuda a interpretar los límites de ChatGPT, organizar mejor las instrucciones y entender cómo se calcula el uso de modelos de inteligencia artificial mediante una API.
