Teaching

Prof. Antonello Rizzi - Pattern Recognition, for Information Engineering Master Degrees, since 2002

Classroom course code: vkoxvif  - the course is delivered in English language

Details “Pattern Recognition” Course [it]

Scheda del Corso di “Pattern Recognition”

 (Erogato in lingua Inglese)

A.A. 2021 / 2022

CdA servente: Laurea Magistrale in Ingegneria Elettronica


1.       DESCRITTORI

1.1  SSD: ING-IND/31 Elettrotecnica

1.2  Crediti: 6

1.3  Docente: Antonello Rizzi

1.4  Calendarizzazione: secondo anno, secondo semestre

1.5  Offerto a: MCOR, MINR, MSIR, MARR

1.6  Tipologia di valutazione: esame con votazione in trentesimi

 

2.       Obiettivi del modulo e capacità acquisite dallo studente

ita

Sono forniti i principi di base sulle tecniche di pattern recognition, classificazione e clustering su domini non necessariamente algebrici.

 

eng

The module deals with the basic principles of pattern recognition, classification and clustering on both metric and non-metric domains.

 

3.       Prerequisiti

ita

Conoscenze di base di Geometria, Algebra, Analisi Matematica, Teoria dei Segnali e dell’Informazione, Fondamenti di Informatica, Elaborazione numerica dei segnali.

 

eng

Elementary notions of Geometry, Algebra, Differential Calculus, Signal Theory, Information Theory, Informatics, Digital Signal Processing.

 

4.       Risultati di apprendimento attesi

Ita

Lo studente sarà reso capace di progettare un sistema di riconoscimento, sintetizzato tramite tecniche di modellamento induttivo, su domini metrici e non metrici, selezionando opportunamente la tecnica di preprocessamento e la misura di dissimilarità tra pattern; sarà inoltre capace di misurare le prestazioni del sistema.

 

eng

Successful students will be able to design a pattern recognition system, trained by inductive modelling techniques, on both metric and non-metric domains, selecting a suited preprocessing procedure and a dissimilarity measure between patterns; moreover, they will be able to measure system performances.

 

5.       Programma

Ita

Introduzione al pattern recognition. Problemi di classificazione e clustering.

Capacità di generalizzazione. Deduzione ed induzione. Principio di induzione su spazi normati. La scelta di una metrica. Spazi non-metrici. Misure di prossimità punto-punto, punto-cluster ed intercluster. Distanza di Mahalanobis. 

Funzioni di rappresentazione e preprocessing dei dati. Normalizzazione. Trattamento di dati mancanti. Dati discreti nominali e ordinali.

Algoritmi di clustering k-means, BSAS, RL-BSAS. Il problema della validazione; indice di sensibilità; indici relativi di validazione; indice di Davies-Bouldin; algoritmi dipendenti da un parametro di scala; indici di stabilità; algoritmi di clustering ottimizzati; problema di modellamento non supervisionato vincolato e non vincolato. Clustering gerarchico. Agent based clusters mining.

Sistemi di classificazione: misure di prestazione e di sensibilità. Classificatori bayesiani. Superfici di decisione e funzioni discriminanti per classificatori bayesiani con distribuzione normale. Stima parametrica a massima verosimiglianza. Tecniche di stima non parametriche.

Sintesi di modelli di classificazione basata su tecniche di clustering. Alberi di decisione. Classificazione robusta: tecniche di voting. Ensembles of classifiers.

Dati strutturati di prima e seconda specie. Misure di dissimilarità in domini strutturati. Data fusion. Domini a struttura variabile: sequenze di eventi, grafi. Principio di ottimalità di Bellman; distanza di edit. Misure di dissimilarità in spazi di grafi etichettati (Graph Matching). Tecniche di template matching. Algoritmi classici per la segmentazione di immagini. Descrittori di regione: caratteristiche geometriche e momenti.

Granular Computing. Data Mining e Knowledge Discovery.

Casi di studio ed applicazioni: riconoscimento di caratteri manoscritti, riconoscimento della firma, classificazione automatica di testi, trascrizione automatica di musica polifonica e music information retrieval, sistemi per la classificazione automatica di immagini, sistemi per la diagnostica di componenti meccaniche, pattern recognition in bioinformatica, trend prediction su serie finanziarie.

Accelerazione hardware su FPGA e GPU.

 

eng

Introduction to pattern recognition. Classification and clustering problems.

Generalization capability. Deduction and induction. Induction principle over normed spaces. Metric selection. Non-metric spaces. Point to point, point to cluster and cluster to cluster proximity measures. Mahalanobis distance.

Representation and pre-processing functions. Normalization. Missing Data. Ordinal and nominal discrete data. PCA.

Clustering algorithms: k-means and BSAS. Reinforcement Learning BSAS. The cluster validity problem; sensitivity index; relative validation indexes; Davies-Bouldin index, Silhouette index; clustering algorithms based on scale parameters; stability indexes; optimized clustering algorithms; constrained and unconstrained unsupervised modelling problems. Hierarchical clustering. Agent based clusters mining. Consensus. Introduction to fuzzy logic. Fuzzy clustering.

Classification systems: performance and sensitivity measures. Bayesian classifiers. Decision surfaces and discriminant functions characterization in the Gaussian case. Maximum likelihood estimation technique. Non-parametric estimation techniques. Classification model synthesis based on cluster analysis. Decision trees. Robust classification: voting techniques. Ensembles of classifiers.

Structured data taxonomy. Dissimilarity measures on structured data. Data fusion. Variable length domains: sequences of events, graphs. Bellman optimality principle; edit distance. Dissimilarity measures on labelled graph spaces (Graph Matching). Template matching techniques. Basic algorithms for image segmentation. Region descriptors: moments and geometric features.

Automatic Feature selection algorithms. Introduction to evolutionary optimization.

Granular Computing. Data Mining and Knowledge Discovery. Metric learning. Local metrics. Representations in dissimilarity spaces. Symbolic histograms.

Case studies and applications: signature recognition, text categorization and natural language processing, computer vision and image classification systems, mechanical diagnostics systems, pattern recognition in bioinformatics, trend prediction for financial time series.

Hardware acceleration on FPGAs and GPUs.

 

6.       Materiale didattico

ISBN: 978-1597492720, September 2008.

(lecture notes and didactic material available at  http://infocom.uniroma1.it/rizzi/)

 

7.       Sito web di riferimento

http://infocom.uniroma1.it/rizzi/ [not working, material is on Google Classroom]

 

Modalità di valutazione: Valutazione progetto

L'esame finale consiste nella valutazione di una tesina. L'argomento è concordato con il docente.

The final exam consists in the evaluation of a homework. The topic of the homework is usually agreed with the teacher.Modalità di svolgimento: Tradizionale

Il corso consiste in lezioni frontali e illustrazione di casi di studio.

The course is organized as a series of lectures and case study illustrations.


Frequenza: facoltativa

E' fortemente consigliata la frequenza.

It is strongly recommended to attend classroom lessons.

Prof. Antonello Rizzi - Computational Intelligence, for Information Engineering Master Degrees, since 2005

Classroom course code: iire6vd - the course is delivered in English language

Details “Computational Intelligence” Course [it]

Scheda del Corso di “Computational Intelligence”

 (Erogato in lingua Inglese)

A.A. 2021 / 2022

CdA servente: Laurea Magistrale in Ingegneria delle Comunicazioni

 

 

1.       DESCRITTORI

1.1  SSD: ING-IND/31 Elettrotecnica

1.2  Crediti: 6

1.3  Docente: Antonello Rizzi

1.4  Calendarizzazione: secondo anno, primo semestre

1.5  Offerto a: MELR, MINR, MSIR, MARR

1.6  Tipologia di valutazione: valutazione tesina con votazione in trentesimi

 

2.       Obiettivi del modulo e capacità acquisite dallo studente

ita

Sono  forniti  i  principi  di  base  della  progettazione  di  sistemi  automatici  per  il  machine  learning  (problemi  di

classificazione,  clustering,  approssimazione  funzionale  e  predizione)  basati  su  tecniche  di  Intelligenza

Computazionale (reti neurali, logica fuzzy, algoritmi evolutivi).

 

eng

The  module  deals  with  the  basic  principles  of  machine  learning  systems  (classification,  clustering,  system

identification and prediction problems) based on Computational Intelligence techniques (neural networks, fuzzy logic,

evolutionary algorithms).

 

3.       Prerequisiti

ita

Conoscenze di base di Geometria, Algebra, Analisi Matematica, Teoria dei Segnali e dell’Informazione, Fondamenti

di Informatica.

 

eng

Elementary notions of Geometry, Algebra, Differential Calculus, Signal Theory, Information Theory, Informatics.

 

4.       Risultati di apprendimento attesi

Ita

Lo  studente  sarà  reso  capace  di  analizzare  un  problema  di  modellamento  data  driven  (machine learning) ed  i  dati  disponibili;  di determinare  una  procedura  di  preprocessamento  adatta  al  caso  in  esame;  di  progettare  ed  implementare opportunamente il sistema di modellamento finalizzato ad una determinata applicazione.

 

eng

Successful students will be able to analyse a data driven modelling (machine learning) problem and the available data; to select a suited pre-processing procedures; to design and to implement an appropriate modelling system for a given application.

 

5.       Programma

Ita

Machine Learning. Introduzione al modellamento data driven: soft computing, intelligenza computazionale.

Definizione  dei  problemi  di  clustering,  classificazione,  modellamento  non  supervisionato,  approssimazione

funzionale,  predizione.  Capacità  di  generalizzazione.  Deduzione  ed  induzione.  Principio  di  induzione  su  spazi

normati. Modelli ed algoritmi di apprendimento. La scelta di una metrica ed il preprocessamento dei dati.

Problemi di ottimizzazione. Condizioni di ottimalità. Regressione lineare: algoritmo LSE, RLSE. Algoritmi numerici

di ottimizzazione; algoritmi basati sulla discesa al gradiente. Metodo di Newton. Principi di logica fuzzy: definizioni, operazioni elementari. Principio di induzione fuzzy. Regole fuzzy Sistemi  di  classificazione:  misure  di  prestazione  e  di  sensibilità.  Classificatore  k-NN.  Il  neurone  biologico  ed  il sistema nervoso centrale. Perceptron. Reti Feedforward: Multi layer perceptron. Algoritmo Error Back Propagation. Support Vector Machines.                                                                                                                                                                                                                                                  

Algoritmi di apprendimento automatici. Sensibilità rispetto ai parametri strutturali. Algoritmi costruttivi e di pruning.

Ottimizzazione della capacità di generalizzazione: cross-validation e Criterio del Rasoio di Occam. Classificatori  neurofuzzy  Min-Max;  algoritmo  di  apprendimento  classico  e  regolarizzato.  ARC;  PARC;  Principal Component Analysis; Reti neuro-fuzzy generalizzate. GPARC.

Swarm  Intelligence.  Evolutionary  Computation.  Algoritmi  genetici,  Particle  Swarm  Optimization,  Ant  Colony

Optimization. Selezione automatica delle caratteristiche.

Ragionamento  fuzzy.  Modus  ponens  generalizzato;  sistemi  FIS;  procedure  di  fuzzyficazione  e  defuzzyficazione. Sistemi ANFIS. Algoritmi di training canonici. Algoritmi avanzati per la sintesi di reti ANFIS: clustering nello spazio congiunto, clustering nello spazio degli iperpiani.

Problemi di predizione e cross-predizione; embedding basato su algoritmi genetici.

Applicazioni  e  casi  di  studio:  modellamento  e  controllo  dei  flussi  energetici  nelle  micro-grids,  ottimizzazione  e controllo delle Smart Grids, classificazione di flussi di traffico TCP/IP. Ricerca di pattern regolari ed estrazione di regole in grandi basi di dati (Big Data Analytics).

 

eng

Introduction to Machine Learning and data driven modelling. Soft Computing, Computational Intelligence. Basic  data  driven  modelling  problems:  clustering,  classification,  unsupervised  modelling,  function  approximation, prediction. Generalization capability. Deduction and induction.

Induction  inference  principle  over  normed  spaces.  Models  and  training  algorithms.  Distance  measures  and  basic preprocessing procedures.

Optimization problems. Optimality conditions. Linear regression. LSE and RLSE algorithms. Numerical optimization

algorithms: steepest descent and Newton’s method.

Fuzzy logic principles. Fuzzy induction inference principle. Fuzzy Rules.

Classification systems: performance and sensitivity measures. K-NN Classification rule.

The biological neuron and the central nervous system.

Perceptron.  Feedforward  networks:  Multi-layer  perceptron.  Error  Back  Propagation  algorithm.  Support  Vector

Machines. Automatic modeling systems. Structural parameter sensitivity. Constructive and pruning algorithms.

Generalization capability optimization: cross-validation and Ockham's razor criterion based techniques.

Min-Max  neurofuzzy  classifiers;  standard  and  regularized  training  algorithm.  ARC,  PARC;  Principal  Component Analysis; Generalized Min-Max  neurofuzzy networks. GPARC.

Swarm  Intelligence.  Evolutionary  Computation.  Genetic  algorithms.  Particle  Swarm  Optimization,  Ant  Colony

Optimization. Automatic feature selection. 

Fuzzy reasoning. Generalized modus ponens; FIS; fuzzyfication and e defuzzyfication. ANFIS. Basic and advanced

training algorithms: clustering in the joint input-output space, hyperplane clustering.

Outline of prediction and cross-prediction problems: embedding based on genetic algorithms.

Applications and case studies: micro-grids energy flows modelling and control, Smart Grids optimization and control,

classification of TCP/IP traffic flows.

Mining of frequent patterns and rule extraction in large data bases (Big Data Analytics).

 

6.       Materiale didattico

 

     (Lecture notes and learning materials available at http://infocom.uniroma1.it/rizzi/)

 

7.       Sito web di riferimento

http://infocom.uniroma1.it/rizzi/  [not working, material is on Google Classroom]

Modalità di valutazione: Valutazione progetto

L'esame finale consiste nella valutazione di una tesina. L'argomento è concordato con il docente.

The final exam consists in the evaluation of a homework. The topic of the homework is usually agreed with the teacher.


Modalità di svolgimento: Tradizionale

Il corso consiste in lezioni frontali e illustrazione di casi di studio.

The course is organized as a series of lectures and case study illustrations.


Frequenza: facoltativa

E' fortemente consigliata la frequenza.

It is strongly recommended to attend lessons.

property of CIPAR TEAMS © - 2024