Fine - Tuning

Para entrenar un modelo de OpenAI se requiere un mínimo de 10 ejemplos, sin embargo, OpenAI recomienda crear al menos entre 50 y 100 registros para mejorar el nivel de certeza al momento del entrenamiento. Además del dataset de entrenamiento, se deberá tener un dataset de validación.

Chatbot - Practica 1 - Dataset para Fine Tuning

Selecciona el ambiente para el cual vas a crear un chatbot:

• ¿Para qué sector?

• ¿Cuál es el giro?

• ¿Quiénes son los clientes?

• Enlista al menos el top 5 de problemas que pueden tener.

Crea un dataset en un archivo JSONL con al menos 20 registros que tengan la siguiente estructura:

{"messages": [{"role": "system", "content": "Eres un chatbot amigable."}, {"role": "user", "content": "¿Qué es la IA"}, {"role": "assistant", "content": "Para agilizar tus procesos"}]}

Práctica 2. Análisis de dataset y estimación de costos

Siguiendo el código de la documentación que encuentras en el siguiente ENLACE y con tu dataset listo, carga el dataset en formato JSONL y corre cada bloque de código para verificar que cumpla con los requisitos indispensables para realizar el entrenamiento del modelo.

En la parte final de la plantilla hay un apartado con herramientas para la verificación de los costos por el entrenamiento y la validación, desifra los datos que te devuelva el modelo y aproxima el costo final que tu modelo tendría si lo entrenas con OpenAI siguiendo los costos en el apartado de "Fine-Tuning" en el siguiente ENLACE.

Recuerda: Trash in -> Trash out. El modelo será tan bueno como la calidad de tus datos.

Importante: Cuando entrenes tu modelo, habrá un consumo de tokens, recuerda que OpenAI tiene un modelo de capitalización de tokens, por lo que existe una tabla de costos por token de entrenamiento que puedes visualizar en la sección de "Fine tunning" AQUí, además que existe un límite de tokens por entrenamiento que también puedes consultar AQUÍ. Por esta razón te invitamos a que solo hagas al menos 20 registros donde limites tus respuestas a algo muy específico que no encontrarías en internet para que el ejercicio sea más enriquecedor.

Casos reales ¿Por qué detenernos a entender el finetuning? En la mayoría de compañías, cuando se detecta que un chatbot es una opción rentable para la empresa, previamente se realiza un estudio, por ejemplo, en una empresa de servicio al cliente normalmente se busca mapear las preguntas frecuentes y encontrar las respuestas que se han dado, hay preguntas cuyas respuestas siguen patrones y hay otras que son muy específicas, de esta manera se va construyendo un dataset, a través de información de clientes y del conocimiento interno de la compañía con el que prepararían sus respuestas y así es como se va construyendo un chatbot. La persona que lidera el desarrollo de este tipo de productos debe conocer admeás de la parte técnico, una estimación de costos y la relación con el beneficio que traería a la compañía.