toolbox
Inicio / IA, datos y tecnología / Planificador de presupuesto de tokens para fine-tuning

Planificador de presupuesto de tokens para fine-tuning

Este planificador estima el volumen de tokens que recorrerá un proceso de fine-tuning supervisado. Parte del número de ejemplos, suma la longitud media de entrada y salida, separa una fracción para validación y multiplica los ejemplos de entrenamiento por el número de épocas.

El cálculo ayuda a anticipar consumo, duración y coste antes de preparar un job. También permite comparar decisiones como reducir la longitud de las muestras, cambiar las épocas o reservar más datos para validación sin tener que recalcular manualmente cada combinación.

Datos de entrada

ejemplos
tokens
tokens
épocas
%
Resultado
—
tokens de entrenamiento procesados
Tokens por ejemplo—
Ejemplos de entrenamiento—
Tokens de validación (una pasada)—

1. Cuenta los ejemplos
Introduce el número total de registros preparados para el fine-tuning.

2. Estima su longitud
Añade tokens medios de entrada y salida por ejemplo.

3. Define las épocas
Indica cuántas pasadas completas realizará el entrenamiento sobre el subconjunto de entrenamiento.

4. Reserva validación
Separa el porcentaje que no participará en la actualización de pesos.

5. Revisa el presupuesto
Usa los tokens de entrenamiento para estimar coste o tiempo con las herramientas relacionadas.

Tokens/ejemplo = I + O
Ejemplos train = N·(1 − v)
Tokens entrenamiento = N·(1 − v)·(I + O)·E

N es el total de ejemplos, v la fracción de validación, I y O los tokens medios de entrada y salida, y E las épocas.

Qué significa el resultado

El resultado representa los tokens que el proceso de entrenamiento recorrerá a lo largo de todas las épocas, excluyendo el subconjunto reservado para validación.

El consumo real puede variar por formato de conversación, tokens especiales, truncado, padding, packing y políticas del framework o proveedor.

Datos: 12.000 ejemplos, 650 tokens de entrada, 180 de salida, 3 épocas y 10 % de validación.

Cálculo: 830 tokens/ejemplo; 10.800 ejemplos de entrenamiento. Tokens = 10.800×830×3 = 26.892.000.

Resultado: presupuesto aproximado de 26,892 millones de tokens de entrenamiento; la validación contiene 996.000 tokens en una pasada.

¿Debo contar los tokens del prompt del sistema?

Sí, si forman parte de cada ejemplo que realmente procesa el entrenamiento. La media debe reflejar el formato final del dataset.

¿La validación se multiplica por las épocas?

No en el resultado mostrado. Se presenta una pasada de validación por separado para no asumir una política concreta de evaluación.

¿Puedo usar épocas fraccionarias?

La calculadora las admite como aproximación del volumen procesado, aunque el sistema de entrenamiento concreto puede definir épocas o pasos de otra manera.

¿Qué ocurre con padding y packing?

No están modelados explícitamente. Pueden aumentar o reducir la eficiencia respecto al simple total de tokens de contenido.

¿Cómo uso este presupuesto para estimar coste?

Multiplica los tokens procesados por la tarifa de entrenamiento correspondiente, o utiliza la calculadora de coste por tarea de fine-tuning para repartir después el coste entre tareas esperadas.