Para la creación de modelos de IA basados en IMAGEN, SONIDO Y AUDIO hemos utilizado https://teachablemachine.withgoogle.com/
Descripción de la tarea
Parte 1: replicar el modelo del video para controlar un motor con un modelo de IA entrenado cpara identificar gestos. (4 puntos)
Parte 2: Crear un traductor de lengua de signos. (6 puntos)
Parte 1: (4 puntos) Visualiza y replicar el siguiente video donde se crea un modelo de IA para controlar el movimiento de un servomotor con los gestos de la cabeza. Deberás subir:
1.A La captura de pantalla del modelo entrenado.
1.B El enlace al modelo entrenado
1.C El enlace del proyecto de microbit
Parte 2: (6 puntos)
Vamos a crear una nueva aplicación con un modelo de IA para traducir lengua de Signos.
1. Selecciona del abecedario del documento adjunto: 3 vocales y 3 consonantes
2. Crea las 6 categorías en el modelo de Inteligencia artificial de imagen: https://teachablemachine.withgoogle.com/train
3. Crea las imágenes con al webcam que corresponden a las 6 letras que has elegido del abecedario y entrena el modelo.
4. Entrena el modelo y verifica que funciona correctamente.
5. Haz que la microbit muestre por pantalla la letra
2.A Sube la captura de pantalla del modelo entrenado.
2.B Sube el enlace al modelo entrenado
2.C Sube el proyecto de microbit
(EJEMPLO: Se muestra una imagen del ejemplo del proyecto de la Parte 2 el enlace generado: https://teachablemachine.withgoogle.com/models/0a-nTUPox/ el proyecto de microbit: https://makecode.microbit.org/_V7tWEKHhtMRV )
Descripción de la tarea
En parejas vais a realizar el proyecto “GUIA DE MOVIMIENTOS AJEDREZ”, formado por varias partes. En primer lugar debéis seleccionar sobre qué 3 piezas del ajedrez vamos a simular; Numerar dichas piezas del 1 al 3.
Parte 1 PROGRAMACIÓN: https://makecode.microbit.org/#editor (en el gif adjunto puedes ver lo que debe hacer tu modelo)
Crea una variable llamada “Pieza” y al iniciar pona a 1.
Esta variable se controlará con el botón A. Cada vez que se pulse el botón A se añade 1 a esta variable, hasta que llega a 4, que no se muestra y volvemos la variable a 1. Es decir, debería ver por pantalla un 1, y si pulso el botón A vería un 2, y si vuelvo a pulsar, veré un 3, y si vuelvo a pulsar volveré a ver un 1 (y así sucesivamente). Esta variabla actua como un selector de piezas e indicará a qué pieza nos estamos refiriendo de las 3 que has seleccionado.
Cuando se pulse el botón B tendrás que usar un condicional de manera que si Pieza es 1 dibuje la pantalla la primera letra de la pieza, por ejemplo, si es un Caballo, dibujas con los LED encendidos la letra C. (en el gif se ha hecho con 1 Torre, 2 Caballo, 3 Alfil)
Cuando pulsemos el botón A+B se debe: Borrar la pantalla; Encender sólo el LED central (Instrucción “graficar x=2 y=2”; que parpadee varias veces. Usar un condicional Si Pieza=1; sino Si Pieza=2; sino... y quiero que se enciendan los LEDs de la pantalla a los que esa pieza del ajedrez se puede desplazar. El LED central debe parpadear mientras el resto están encendidos.
Parte 2: MODELO DE INTELIGENCIA ARTIFICIAL. https://makeairobots.com/?authuser=0 Proyecto de imagen en Google Teachable Machine
Crear un modelo de red neuronal que sea capaz de identificar tus 3 piezas seleccionadas a partir de imágenes de las mismas. Deberás buscar 15 imágenes distintas de cada una de las piezas (tanto blancas como negras) para entrenar tu modelo. Las imágenes sólo deben contener la pieza, con el fondo del mismo color. (Se podría pedir a una IA que generara 5 de cada y las otras se buscan en internet).
Para probar el modelo entrenado usaremos alguno de los ajedrez del centro.
Parte 3: ENLACE DEL MODELO DE IA CON LA MICROBIT. (starter microbit code)
Vincular el modelo de red neuronal con el makecode.
Programa las mismas instrucciones del makecode pero sobre el codicional que aparece por defecto al editar el código de starter microbit code.
En el proyecto realizado se muestra el funcionamiento manual del dipositivo ya que la conexión del modelo de IA para la clasificación de las pelotas por colores no podía conectarse a dispotivo móvil.
En el proyecto realizado se muestra el funcionamiento manual del dipositivo ya que la conexión del modelo de IA para la identificación de un coche o una persona para determinar la apertura de la barrera de parking automático no podía conectarse a dispotivo móvil. El modelo entrenado detectaba 2 gestos de la mano para controlar la apertura.