Minería de Datos y Aprendizaje Automatizado (Bahía Blanca, 2do Cuat 2018)

Materia Optativa / Curso de Posgrado

Software a utilizar: WEKA (es gratuito y disponible para Windows/Linux/Mac)

> Se puede descargar e instalar en PC o notebook; viene en dos versiones, con Java Virtualmachine incluida o sin ella.

- Manual Usuario Weka 3.8 (Actualizado a diciembre 2016)

Transparencias correspondientes a módulos del curso en formato PDF (actualización en progreso)

> Módulo 1: Minería de Datos y Aprendizaje Automatizado. Introducción y motivaciones

Conceptos básicos. Minería de Datos y Machine Learning: relación entre ambos. Definiciones básicas: base de datos, atributo, atributo meta, modelo, clasificación. Uso básico de Weka para editar una base de datos y uso de clasificadores. Aplicaciones varias de machine learning y datamining.

> Módulo 2: ¿Qué es Aprendizaje Automatizado? Consideraciones generales

Tareas típicas del aprendizaje. Aprendizaje de conceptos. Aprendizaje de funciones. Clustering. Clases y atributos. Hipótesis. Contraste de hipótesis. Lenguajes de hipótesis. Navaja de Occam. Exactitud vs. comprensibilidad. Aprendizaje supervisado vs. no supervisado. Tipos de datos. El formato ARFF. Consideraciones sobre los datos. Muestreo. Maldición de la dimensionalidad.

> Módulo 3: Árboles de Decisión

Árboles de Decisión. Tipos de árboles: clasificación, clustering. Inducción Top-Down. Uso de Entropía para partición. Noción de Overfitting (sobreajuste). Poda de árboles. Transformar árboles en reglas. Incorporar atributos con valores continuos. Funciones "Gain" y "Gain Ratio" para evaluar cómo construir un árbol. Construcción incremental de árboles de decisión (usando Weka).

> Módulo 4: Inferencia de Reglas. Reglas de Asociación

Inferencia de Reglas de Clasificación. "Simplicity first": algoritmo OneRule. Definición con atributos numéricos. Problemas de Overfitting.

Acercamientos de Cubrimiento Secuencial (Sequential Covering). Algoritmo PRISM. Aprender Una Regla: versión mejorada con conjunto de candidatos.

Algoritmo Ripper. Ejemplos en WEKA. Reglas de Asociación. Concepto. Nociones de soporte y confianza. Métricas adicionales. Ejemplos en WEKA.

Material vinculado a Módulo 4:

  • (Video) Inferencia de reglas de asociación con Apriori en Weka - https://www.youtube.com/watch?v=Z4VZsF96QfU

> Módulo 5: Aprendizaje basado en Instancias (Vecinos más cercanos)

Motivaciones. Enfoque de 1-vecino más cercano. Ventajas y Desventajas. K-Vecinos más cercanos (kNN). Métricas de Distancia. Diagramas de Voronoi.

Uso de pesos en determinación de vecinos. La maldicion de la dimensionalidad y cómo abordarla. Reescalamiento de atributos. Funciones kernel: terminología.

Concepto de RPL (Regresión pesada localmente). CBR (Razonamiento Basado en Casos) como problema "simbólico" de vecinos más cercanos.

El sistema CADET. Métodos perezosos vs. ávidos. Ejemplos en WEKA.

Material vinculado a Módulo 5:

> Módulo 6: Aprendizaje Bayesiano Naive

Motivaciones. Caracteristicas salientes. FUndamentos de la Probabilidad. Teorema de Bayes. Suposición de Independencia Condicional.

Hipótesis MAP. Clasificador Bayes Naive: ejemplo. Estimadores de probabilidad. Aplicaciones de Bayes Naive en clasificación de documentos de texto.

Ejemplos en WEKA.

  • Trabajos sobre cómo usar Clasificación Bayesiana Naive en Alzheimer y en predicción criminal. (material de uso educativo; prohibida su reproducción fuera de ese uso)

> Módulo 7: Redes Neuronales Artificiales

Motivaciones. Caracteristicas salientes. FUndamentos. Construcción de un perceptrón. El problema de la separabilidad de hiperplanos.

Construcción de redes multicapas. Conceptualización utilizando descenso del gradiente y algoritmo "Backpropagation". Aplicaciones.

Ejemplos en WEKA.

> Módulo 8: Selección de Atributos en Aprendizaje Automatizado

Motivaciones. El problema: cómo construir modelos usando la menor cantidad de atributos posibles. Datamining como exploración. Filtros

en Weka y su uso. Ejemplos de algunos filtros y su utilidad al modelar datos. Discretización. Selección de atributos. Razones para hacerlo.

Abordaje Filter vs. Wrapper. Consideraciones sobre filtros para ordenar atributos (ej. InfoGain). El abordaje Wrapper. Ventajas y desventajas

de cada metodología. Un caso de estudio: la base de datos diabetes.arff. Contrastando distintos abordajes. Estrategias de búsqueda

y su rol en los Wrappers (forward, backward, bi-direccional, etc.). Ejemplos en WEKA.

> Mòdulo 9: Evaluación de lo aprendido. Contrastando modelos

Motivaciones. Evaluación. Ajuste de parámetros. Intervalos de confianza y procesos de Bernoulli. Estimaciòn del hold-out (test set).

Hold-out con repetición. Cross-validation. Leave-one-out. Estratificación. Métodos bootstrap. Teniendo en cuenta los costos: predicciones

multiclase. Matriz de confusión. Medida Kappa. Clasificación sensible a costos. Metaclasificadores usando costos en Weka. Diagramas

Lift. Curvas ROC. Medidas recall, precision, F-measure. Errores.

> Mòdulo 10: Metaclasificadores - Consideraciones varias

> Mòdulo 11: Clustering

Motivaciones. Conceptos básicos. Noción de métrica. Utilidad para distancia inter-cluster.

Clustering por particiones vs. clustering jerárquico. Algoritmo K-means, DBSCAN, mean-shift, EM.

Clustering jerárquico. Aplicaciones. Ejemplos en Weka.

Datasets varios:

Videos:

- Jaguar - a car that learns from experience (2014)

- Flipping pancakes via reinforcement learning (2010)

- Little Robot - entrenado con algoritmos de aprendizaje automatizado (2010)

- Robot WildCat (Boston Dynamics), 2015

Bibliografía:

- "Machine Learning" (Tom Mitchell, 1997)

- "Datamining" (Witten, Frank & Hall, 2016)

- Papers varios sobre temas específicos