Recursos

Los mecanismos de atención han mejorado fundamentalmente la capacidad de los modelos de aprendizaje profundo para capturar el contexto global y las dependencias a largo alcance en los datos. Sin embargo, la aplicación directa de estos mecanismos a datos bidimensionales de espectrogramas presenta desafíos únicos debido a costos computacionales extremos. Esta nota técnica proporciona una exploración exhaustiva de los paradigmas de atención para modelos de espectrogramas. Comenzamos con una introducción de los mecanismos de atención, desde su formulación original en el contexto del lenguaje natural hasta implementaciones más eficientes para representaciones de tiempo-frecuencia. Examinamos el marco matemático que define a este módulo, e ilustramos su procesamiento mediante figuras esquemáticas. Este apunte evalúa la utilidad de la Atención Axial como una alternativa computacionalmente eficiente pero igualmente efectiva  para procesar los ejes de tiempo y frecuencia en datos bidimensionales. Se acompaña con un colab notebook para la compresión de implementaciones computacionales.