Embedded Files
Descrizione
Descrizione
L'attività consiste nella realizzazione di un sistema di misurazione e visualizzazione dei dati biomeccanici suddiviso in quattro componenti:
WP1 - Sistema indossabile per la misurazione, l'analisi e il riconoscimento di azioni Emg
WP2 - Sistema di acquisizione automatica di volume, peso e inerzia basato su telecamera 3D
WP3 - Stima della posa senza marker
WP4 - Feedback visivo in Realtà Aumentata
Ogni sottoprogetto ha come obiettivo lo studio, lo sviluppo e la validazione di un sistema per la misurazione e/o la visualizzazione di parametri biomeccanici utili per l'analisi clinica della diagnosi o del monitoraggio del paziente in setting di riabilitazione o Terapia Occupazionale.
Il sistema di acquisizione della posa senza marker consiste nell'acquisizione in tempo reale della posa del soggetto monitorato con una o più telecamere 3D. Le coordinate 3D dello scheletro del soggetto vengono quindi inviate e salvate per eseguire analisi cinematiche offline e/o abilitare la visualizzazione in realtà mista del movimento.
Il sistema di visualizzazione dei dati in Realtà Aumentata consiste nella visualizzazione dei dati provenienti da sensori Emg e telecamere 3D. L'ambiente Virtuale, proposto in Realtà Aumentata con Hololens prevede la visualizzazione del movimento attraverso l'animazione di un avatar e il livello di attivazione muscolare attraverso la variazione cromatica dei muscoli coinvolti.
L’applicazione viene sviluppata, utilizzata e validata all’interno del framework del progetto europeo Eurobench volto alla creazione di strumenti per il benchmarking di esoscheletri robotici. Per questo motivo è stato strutturato un ambiente in realtà aumentata per l’assistenza alla camminata con esoscheletro. L’ambiente è stato strutturato in modo da poter confrontare in tempo reale il movimento del soggetto che sta imparando a camminare con l’esoscheletro con quello di utilizzatore esperto e restituire un immediato feedback visivo. Per questo scopo l’applicazione propone la visione frontale di due avatar animati in tempo reale tramite i dati acquisiti dai sensori per la stima della posa. Il primo riproduce i movimenti del soggetto coinvolto. Il secondo riproduce i movimenti di un utilizzatore esperto precedentemente acquisito.
Oltre alle animazioni in expropriocezione per l’apprendimento della camminata con esoscheletri è stata realizzata una sincronizzazione tra due occhiali di realtà aumentata per la fruizione simultanea da parte di due utenti che condividono lo stesso ambiente reale (perché nella stessa stanza ad esempio) e virtuale (in quanto i due strumenti sono perfettamente sincronizzati per mostrare lo stesso contenuto digitale tenendo anche conto dei punti di vista differenti). Questo ha aperto la possibilità di sviluppare ambienti di training per la Terapia Occupazionale in collaborazione con il NAIST e l’ospedale di Riabilitazione di Villa Rosa. Nello specifico si è realizzato uno scenario in ambiente cucina in cui il paziente ha il compito di apparecchiare nello stesso modo realizzato tramite oggetti virtuali da un terapista le cui azioni vengono osservate dal paziente il quale deve poi riprodurle. Il terapista, allo stesso modo, osserva le azioni del paziente potendo così valutare e correggere posture e/o pianificazioni errate.
L’attività si colloca all’interno della macroattività “Tecnologie moderne flessibili e/o indossabili” sviluppando una tecnologia che permette di stimare simultaneamente i parametri di moto e di attivazione muscolare al fine di mettere a punto paradigmi innovativi di analisi del movimento (che sino a poco tempo fa prendevano in considerazione solo i parametri di moto).
Team
Team
Referente: Mariolino De Cecco
Gruppo di lavoro:
Ricercatori DII: Mariolino De Cecco e Davide Brunelli
Ricercatori esterni: Hirokazu Kato (NAIST - Japan), Fabrizio Nunnari (DFKI, Saarland - Germany), Matteo Lancini (UNIBS), Diego Torricelli (Csic Madrid - Spain), Jesus Tornero (Los Madronos, Madrid - Spain)
Tecnici: Mauro Cescatti
Assegnisti, borsisti: Matteo Nardello, Paolo Tomasin, Luca Maule
Studenti PhD:
Su fondi azione Dip. Eccellenza: Nicola Covre
Su altri fondi: Alessandro Luchetti, Isidro Mendoza Butaslac Ⅲ (NAIST - JP)
Studenti di LM o LT: Aron Larcher, Irene Sorianini, Federico Gala, Davide Massella, Alberto Vacilotto, Meron Halilu, Manuel Rosi
Partner esterni coinvolti
Istituzioni di ricerca straniere: DFKI, Saarland - Germania; Csic Madrid - Spagna; Ospedale Los Madronos, Madrid - ES; NAIST Nara Institute of Science and Technology - Japan
Istituzioni di ricerca nazionali: UNIBS, UNIGE, AUSILIA (Ospedale di Riabilitazione di Pergine - TN)
Aziende: Selmo Ing. Antonio, Sartoria “La Fenice”, Start-up di dipartimento Rocitoo Srl
Figura 1: Il sistema indossabile Emg è una t-shirt sensorizzata in cui sono integrati elettrodi riconfigurabili e riutilizzabili, il sistema di condizionamento (in forma prototipale) e un'unità di elaborazione digitale.
Figura 2: Il sistema di misura del volume e dell'inerzia è costituito da un letto sensorizzato con una telecamera 3D. La nuvola di punti viene segmentata utilizzando algoritmi di Machine Learning per separare i segmenti anatomici e calcolarne Volume, Massa ed Inerzia. Questi parametri vengono poi utilizzati per la stima delle forze in gioco durante analisi dinamiche del movimento che prevedono matrici di pressione e stampelle sensorizzate.
Figura 3: sistema di acquisizione della posa senza marker confrontato con gold standard Vicon.
Figura 4: Animazione del moto e dell’attività muscolare su scheletro del soggetto (acquisito mediante sistemi di motion capture sviluppati al WP3).
Figura 5: training per Terapia Occupazionale con le due viste: a sinistra quella del terapista; a destra quella del paziente che ha il compito di apparecchiare la tavola.
Lavoro degli studenti coinvolti
Lavoro degli studenti coinvolti
PhD: Nicola Covre
Argomento: Measurement of human physio-mechanical parameters and posture estimation to augment the Physician Eye for motion evaluation through Augmented Reality
Data inizio dell’attività: Novembre 2018
Stato dell’attività, obiettivi e scadenze:
L’attività in esame, passata da una serie di fasi preliminari di progetto della struttura tessile, della sensoristica associata, del supporto nella realizzazione del sistema di misura dei parametri di volume e massa per Eurobench è giunta alla fase finale. Il sistema di Motion capture markerless e di Realtà Aumentata sono in fase di testing ed ottimizzazione. Ci si è posti l’obiettivo di concludere quest’ultima fase entro gennaio 2022, possibilmente con la produzione di una pubblicazione scientifica. Fino ad oggi, il lavoro ha prodotto un articolo su rivista, la partecipazione a due conferenze e due collaborazioni internazionali con DFKI ed Eurobench.Periodo all’estero: Visita di 8 mesi presso Saarbrücken, DFKI, Saarland University Novembre 2018 - Gennaio 2019 (3 mesi) Madrid, Hospital Los Madronos, Eurobench Project, Giugno 2021 -Gennaio 2022
LM: Aron Larcher
Argomento: Realizzazione e utilizzo di un sistema di Motion Capture Markerless per l’acquisizione e l’elaborazione dei dati cinematici per l’allenamento di algoritmi di Machine Learning for Action Recognition
Date: Luglio 2019 – Marzo 2020
LM: Irene Sorianini
Argomento: Realizzazione di un sistema di misura indossabile ad alte prestazioni per l’acquisizione dei segnali Emg
Date: Luglio 2020 – Marzo 2021
LM: Federico Gala
Argomento: Sviluppo e validazione di Reti Neurali Ricorrenti per l’elaborazione dei dati Emg e la classificazione delle azioni della mano per il controllo remoto di una mano robotica.
Date: Luglio 2020 – Marzo 2021
LM: Davide Massella
Argomento: Realizzazione e sviluppo di un sistema in Realtà aumentata per l’augmentazione dell’occhio clinico sul movimento e l’attività muscolare coinvolta
Date: Dicembre 2020 – Luglio 2021
LM: Alberto Vacilotto
Argomento: Realizzazione e Validazione con Gold Standard di un sistema di motion Capture Markerless per il monitoring di soggetti in movimento con il supporto di esoscheletro robotico
Date: Luglio 2021 – Marzo 2022
LM: Meron Hailu
Argomento: Miniaturizzazione ed ottimizzazione sistema EMG
Date: Settembre 2021 – Luglio 2022
LM: Manuel Rosi
Argomento: Acquisizione e restituzione in Realtà Aumentata di una pedana di pressione
Date: Settembre 2021 – Luglio 2022
Risultati
Risultati
Articoli scientifici:
Covre, Nicola, et al. "Generation of action recognition training data through rotoscoping and augmentation of synthetic animations." International Conference on Augmented Reality, Virtual Reality and Computer Graphics. Springer, Cham, 2019.
Pasinetti, Simone, et al. "Validation of Marker-Less System for the Assessment of Upper Joints Reaction Forces in Exoskeleton Users." Sensors 20.14 (2020): 3899.
Maule, L., Zanetti, M., Luchetti, A., Tomasin, P., Dallapiccoa, M., Covre, N., … & De Cecco, M. (2021). Wheelchair Driving Strategies: a comparison between standard joystick and gaze-based control. Assistive Technology, (to appear).
Monte Carlo-based 3D surface point-cloud volume estimation by exploding local cubes faces, Acta Imeko. (accepted with minor revisions)
Articoli scientifici sottomessi:
Acquisition and Augmentation of Forearm sEmg Signals for Training a Gesture Recognition Algorithm based on an Ensemble of LSTM Networks (IEEE Access)
Azure Kinect metrological characterization and analysis for human body 3D measurements (IEEE Transactions on Instrumentation & Measurement)
Prototipi sviluppati: All’interno dell’attività sono stati realizzati una T-shirt indossabile con elettrodi integrati (Figura 1), un setup di misura dei volumi e stima dei parametri inerziali dei vari segmenti corporei (Figura 2), un algoritmo di fusione dai provenienti da diverse camere 3D per la stima della postura del corpo umano (Figura 3), un sistema di proposizione dei dati raccolti in Realtà Aumentata (Figura 4), ed un sistema di training in Terapia Occupazionale (Figura 5).
Seminari e incontri
Seminari e incontri
Seminario:
Data e luogo: Salento AVR 7-10 Settembre 2020
Relatore: Mariolino De Cecco (Keynote Speaker)
Titolo: Augmenting the physician eye to optimize smart living environment
Acquisizione di risorse
Acquisizione di risorse
Proposte di finanziamento presentate:
Eurobench FSTP-1 Open Call BULLET - Benchmarking Upper Limbs Loads on Exoskeleton Testbeds
Eurobench FSTP-2 Open Call SLEDGE - Shoulder Loads in Exoskeleton-assisted Daily life Gestures
Report abuse