Los "transformers" son un tipo de red neuronal que se utilizan en el aprendizaje automático para tareas relacionadas con el lenguaje, como el procesamiento del lenguaje natural (PLN), la traducción automática y la generación de texto.
Son una alternativa a las redes neuronales recurrentes (RNN), que eran el estándar anterior para estas tareas.

Los transformadores funcionan de manera diferente a las RNN. Las RNN procesan la entrada secuencialmente, una palabra a la vez. Los transformadores, por otro lado, procesan la entrada de manera paralela, considerando todos los tokens de la entrada al mismo tiempo.

Los transformadores utilizan un mecanismo llamado atención para determinar la importancia de cada token de la entrada. La atención es una función que asigna un peso a cada token, en función de su relevancia para la tarea en cuestión.

Por ejemplo, si se le pide a un transformador que traduzca la oración "El gato está en la mesa" del español al inglés, el transformador utilizará la atención para determinar que la palabra "gato" es más importante que la palabra "está". Esto se debe a que la palabra "gato" es el sujeto de la oración, y la palabra "está" es el verbo.

La atención es lo que permite a los transformadores capturar relaciones complejas entre los tokens de una entrada. Esto los ha hecho muy efectivos para tareas de PLN, como la traducción automática y la generación de texto.

Estructura de un transformador

Un transformador consta de dos partes principales: un codificador y un decodificador. El codificador procesa la entrada y el decodificador genera la salida.

El codificador consta de una secuencia de capas de transformación. Cada capa de transformación consta de dos subcapas: una capa de autoatención y una capa de transformación lineal.

La capa de autoatención calcula la atención para cada token de la entrada. La capa de transformación lineal luego combina la atención con la entrada para generar una nueva representación de la entrada.

El decodificador también consta de una secuencia de capas de transformación. Sin embargo, las capas de transformación del decodificador utilizan una atención diferente a la del codificador.

La atención del decodificador se llama atención de desplazamiento. La atención de desplazamiento permite al decodificador considerar la salida generada hasta el momento, así como la entrada.

Aplicaciones de los transformadores

Los transformadores se utilizan en una amplia gama de aplicaciones de aprendizaje automático, incluidas las siguientes:

• Procesamiento del lenguaje natural (PLN): los transformadores se utilizan para tareas de PLN, como la traducción automática, la generación de texto, el resumen de texto y la respuesta a preguntas.

• Traducción automática: los transformadores son el estándar actual para la traducción automática. Son más precisos y eficientes que las RNN.

• Generación de texto: los transformadores se pueden utilizar para generar texto creativo, como poemas, código, guiones, piezas musicales, correo electrónico, cartas, etc.

• Resumen de texto: los transformadores se pueden utilizar para resumir texto de manera concisa y precisa.

• Respuesta a preguntas: los transformadores se pueden utilizar para responder a preguntas sobre texto.

Los transformadores son una tecnología poderosa que tiene el potencial de revolucionar la inteligencia artificial.