¿Cómo estimar tu consumo de tokens con IA en Athento?

El consumo de tokens que realices dependerá de múltiples factores:

• El tipo de tarea de IA que uses (extracción de datos, análisis de imágenes, conversación con documentos o expedientes, etc.).

• El servicio que elijas (por ejemplo, OpenAI o Gemini).

Cómo se cuentan los tokens

En las integraciones de Athento con modelos de lenguaje (LLM) como OpenAI o Gemini, el consumo total de tokens por operación es la suma de:

• Tokens de entrada (prompt tokens): todo lo que envías al modelo: texto del documento o fragmentos relevantes (en RAG, embeddings, etc.), instrucciones, contexto, e incluso el historial de conversación si aplica.

• Tokens de salida (completion tokens): todo lo que el modelo devuelve como respuesta: texto generado (resumen, clasificación, datos extraídos, etc.), estructuras como JSON o listas.

💡 Regla general para texto: 1 token ≈ 4 caracteres.
Recuerda que Athento no envía solo el texto del documento: también añade instrucciones y, según la funcionalidad, información adicional como el contexto de conversación.

Herramientas útiles

• Contador de tokens de OpenAI para hacer estimaciones previas.

Factores que afectan el consumo

1. Tamaño del documento o imagen procesada → más contenido = más tokens.

2. Tipo de operación IA → RAG, extracción, clasificación, análisis de imagen, etc.

3. Profundidad del contexto → conversaciones largas o con histórico incluido aumentan los tokens.

4. Número de documentos procesados al mismo tiempo.

Buenas prácticas para optimizar el consumo

• Usa tu propia cuenta del servicio IA para hacer pruebas y seguimiento detallado de consumos en los logs.

• Envía texto extraído en lugar de imágenes/páginas completas siempre que sea posible.

• Si debes enviar páginas, limita el envío solo a las que contengan información relevante para la operación.

• Trabaja con TopN pequeños en las bases de conocimiento

Ejemplos orientativos