New classification models based on game theory and computational intelligence
The classification problem is considered a central one in machine learning, with ubiquitous applications in multiple fields of science. With the emergence of the big data paradigm the focus of machine learning methods has been on coping with the computational complexity of dealing with large amounts of data. However, the task of uncovering subtle relationships within data, even for small datasets, remains an important challenge, for which new solutions concepts must be explored. The main goal of this project is to explore the use of game theoretic concepts in solving supervised and unsupervised classification problems. The supervised classification problem is converted into a normal form game having as an equilibrium the correct classification. Parameters of probabilistic classification models can be estimated by approximating the mixed equilibrium of the game as the global minimum of a function. The model thus obtained will yield a classification presenting stability properties of the Nash equilibrium. Within 2EC we plan to extend this model to different types of classification problems (multiclass, multilevel, and adversarial classification). In a more advanced setting, instead of using a given probabilistic model, we can combine mechanism design and genetic programming tools to evolve game forms having the correct classification as equilibria. For the unsupervised classification problem, a game theoretic approach based on the analysis of network structures is proposed.
Obiective prevăzute
1. Etapa I - FROG pentru clasificare binara. Abordari bazate pe teoria jocurilor pentru clasificare adversara. Convertirea datelor in grafuri.
• Rezultate Etapa: 8 articole trimise spre publicare la conferinte sau reviste indexate Web of Science
2. Etapa II - FROG pentru clasificare multi-clase si multi-etichete. Abordari bazate pe teoria jocurilor pentru clasificare adversara. Noi abordari bazate pe teoria jocurilor si detectarea de comunitati pentru problema de clustering
• Rezultate Etapa: 8 articole trimise spre publicare la conferinte sau reviste indexate Web of Science
3. Etapa III - noua abordare a invatarii supervizate bazata pe mechanism design si programare genetica. Noi modele bazate pe diferite concepte de echilibre din teoria jocurilor.
• Rezultate Etapa: 5 articole trimise spre publicare la conferinte sau reviste indexate Web of Science
Prezentarea rezultatelor obținute, a indicatorilor de rezultat realizați; a nerealizarilor înregistrate față de rezultatele estimate prin cererea de finanțare (daca este cazul), cu justificarea acestora;
Toate temele propuse în cele trei etape ale proiectului au fost abordate iar în urma implementarii proiectului s-au trimis spre publicare 26 de articole din care:
• 1 articol a fost acceptat in revista Q1 [1];
• 2 au fost publicate in reviste Q2 [1, 2];
• 1 au fost acceptate cu modificari minore în revistă Q3 [3];
• 17 au fost publicate sau în curs de publicare în volume de conferințe indexate Web of Science (lista mai jos); 2 au fost prezentate la conferințe [4, 5];
• 4 sunt în evaluare la reviste indexate ISI.
• Construirea unei baze teoretice pentru modelul FROG de classificare binara bazat pe teoria jocurilor. S-a demonstrat ca echilibrul jocului propus este unic si corespunde clasificarii corecte ale datelor de training si s-au propus solutii pentru imbunatatirea duratei de rulare [2, 4];
• Propunerea unui model imbunatatit de clasificator KNN care foloseste o varianta exacta a FROG pentru fiecare vecinatate in luarea deciziilor de predictie [4];
• Propunerea unui model care combina FROG cu arbori de decizie si random forests prin folosirea modelului bazat pe joc pentru a face predictia pe datele agregate de pe frunze [5].
• Propunerea unui nou model de joc necooperativ pentru estimarea parametrilor unui model de tip probit in care instantele din datele de training sunt jucatori care incearca sa isi maximizeze propriul model in vederea rezolvarii problemei de clasificare adversariala [6]
• Propunerea unei noi abordari de clasificare bazat pe constructia unui joc necooperativ in care atributele sunt considerate jucatori care isi aleg parametrii unui model probit [7], extins si folosit in analiza relatiei dintre preturile SNP si cele OMV, Exxon, Crude si Brent [1];
• o serie de modele de jocuri folosite in construirea de arbori de decizie pentru problema de clasificare supervizata cu 2 sau mai multe etichete au fost propuse în [5, 9–11, 13];
• un model de clasificare și selecție de atribute bazat pe arbori de decizie și teoria jocurilor [1]. Modelul se bazeaza pe folosirea unui joc în separarea datelor din nodurile arborelui și atribuirea importanței atributelor pe baza poziției din arbore pe care se face separarea.
• pentru învatăre adverară s-a propus un joc al cărui echilibru Nash conferă parametrii pentru generarea de example adversariale în [14].
• Metodele programarii genetice au fost explorate în agregarea rezultatelor mai multor clasificatori folosind ensemble stacking generalization dar s-a constat ca folosirea lor pentru generarea de funcții de câștig conduce la overfitting; rezultate bazate pe teoria jocurilor folosind accuracy ca și funcție de câștig sunt prezentate în [15, 16].
• O metoda de clasificare multilabel bazată pe arbori de decizie și ensemble classification pentru analiză de date reale a fost propusa în [3].
• În [2] se propune o abordare noua de clustering care utilizează o rețea multipartită în care straturile corespund atributelor datelor și nodurile reprezinta intervale pentru date.
• Propunerea unei variante de clasificare nesupervizata bazata pe modelul de mixtura gaussian prin folosirea contributiei marginale a instantelor la functia de probabilitate [19, 20].
• Un studiu legat de rolul atlaselor si a multi-atlaselor in clasificare segmentarii tesuturilor creierului [21];
• O metoda bazatăpe un joc dinamic pentru clasificare cu mai multe etichete este propusăîn [22].
• alte rezultate conexe, prezentate în cadrul unor conferințe [23–27].
[P1] Mihai Alexandru Suciu and Rodica-Ioana Lung. A game theoretic decision forest for feature selection and classification. Logic Journal of the IGPL, accepted, 2023.
[P2] Mihai Alexandru Suciu and Rodica Ioana Lung. A game theoretic framework for binary classification. Journal of Classification, Springer, under review (revisions).
[P3] Rodica Ioana Lung and Mihai Alexandru Suciu. A game theoretic framework for classification, 2023.
[P4] Rodica Ioana Lung and Mihai Alexandru Suciu. A game theoretic based k-nearest neighbor approach for binary classification. In SSCI 2023, Mexic, December 5-9, accepted.
[P5] Mihai-Alexandru Suciu and Rodica Ioana Lung. A new game theoretic based random forest for binary classification. In Pablo García Bringas, Hilde Pérez García, Francisco Javier Martínez de Pisón, José Ramón Villar Flecha, Alicia Troncoso Lora, Enrique A. de la Cal, Álvaro Herrero, Francisco Martínez Álvarez, Giuseppe Psaila, Héctor Quintián, and Emilio Corchado, editors, Hybrid Artificial Intelligent Systems, pages 123–132, Cham, 2022. Springer International Publishing.
[P6] Mihai-Alexandru Suciu and Rodica Ioana Lung. A new nash-probit model for binary classification. In Giuseppe Nicosia, Varun Ojha, Emanuele La Malfa, Gabriele La Malfa, Giorgio Jansen, Panos M. Pardalos, Giovanni Giuffrida, and Renato Umeton, editors, Machine Learning, Optimization, and Data Science, pages 314–324, Cham, 2022. Springer International Publishing.
[P7] Rodica Ioana Lung. A nash equilibrium approach based on differential evolution to probit classification. In 2021 IEEE AFRICON, pages 1–5, 2021.
[P8] Rodica-Ioana Lung and Florin Sebastian Duma. A game-theoretic model for the classification of selected oil companies’ price changes. PeerJ Computer Science, 9:e1215, 2023.
[P9] Rodica Ioana Lung and Mihai-Alexandru Suciu. A Nash Equilibrium Decision Tree for Binary Classification. Machine Learning, under review., page 13, 2022.
[P10] Mihai-Alexandru Suciu and Rodica-Ioana Lung. A game theoretic flavoured decision tree for classification. In Giuseppe Nicosia, Varun Ojha, Emanuele La Malfa, Gabriele La Malfa, Panos Pardalos, Giuseppe Di Fatta, Giovanni Giuffrida, and Renato Umeton, editors, Machine Learning, Optimization, and Data Science, pages 17–26, Cham, 2023. Springer Nature Switzerland.
[P11] Rodica Ioana Lung and Mihai-Alexandru Suciu. A game theoretic decision tree for binary classification. In Pierrick Legrand, Arnaud Liefooghe, Edward Keedwell, Julien Lepagnot, Lhassane Idoumghar, Nicolas Monmarché, and Evelyne Lutton, editors, Artificial Evolution, pages 29–41, Cham, 2023. Springer Nature Switzerland.
[P12] Mihai-Alexandru Suciu and Rodica-Ioana Lung. Equilibrium Decision Trees and Random Forests. SSCI 2022, Singapore, accepted and presented at the conference, page 7, 2022.
[P13] Mihai Alexandru Suciu and Rodica-Ioana Lung. Log-loss boosting optimization for a nash equilibrium decision tree. Data Mining and Knowledge Discovery, submitted, 2023.
[P14] Rodica Ioana Lung. A game theoretic decision-making approach for fast gradient sign attacks. Procedia Computer Science, 220:1015–1020, 2023. The 14th International Conference on Ambient Systems, Networks and Technologies Networks (ANT) and The 6th International Conference on Emerging Data and Industry 4.0 (EDI40).
[P15] Rodica Lung. A game theoretic approach based on differential evolution to ensemble learning for classification. In Proceedings of the 15th International Joint Conference on Computational Intelligence - ECTA, pages 258–264. INSTICC, SciTePress, 2023.
[P16] Rodica Ioana Lung. A game-theoretic approach to ensemble stacking classification. In 23nd International Conference on Hybrid Intelligent Systems, accepted, 2023.
[P17] Rodica-Ioana Lung and Florin Sebastian Duma. An ensemble multilabel-based analysis of price changes among listed central and eastern european oil companies. Eastern European Economics, accepted with minor revisions, 2023.
[P18] Rodica-Ioana Lung. A new clustering method based on multipartite networks. PeerJ Computer Science, 9:e1621, 2023.
[P19] Rodica Lung. An extremal optimization algorithm for improving gaussian mixture search. In Proceedings of the 14th International Joint Conference on Computational Intelligence (IJCCI 2022) - Volume 1: ECTA, pages 91–96. INSTICC, SciTePress, 2022.
[P20] Rodica Ioana Lung. A gaussian mixture clustering approach based on extremal optimization. In Ajith Abraham, Tzung-Pei Hong, Ketan Kotecha, Kun Ma, Pooja Manghirmalani Mishra, and Niketa Gandhi, editors, Hybrid Intelligent Systems, pages 776–785, Cham, 2023. Springer Nature Switzerland.
[P21] David Iclanzan, Rodica Ioana Lung, Zsolt-Levente Kucsván, Béla Surányi, Levente Kovács, and László Szilágyi. The role of atlases and multi-atlases in brain tissue segmentation based on multispectral magnetic resonance image data. In 2021 IEEE AFRICON, pages 1–6, 2021.
[P22] David Iclanzan and Rodica Ioana Lung. A one-versus-all discrete time differential classification game. Mathematics, submitted, 2022.
[P23] Zoltán Tasnádi and Noémi Gaskó. A new type of anomaly detection problem in dynamic graphs: An ant colony optimization approach. In International Conference on Bioinspired Optimization Methods and Their Applications, pages 46–53. Springer, 2022.
[P24] Zoltán Tasnádi and Noémi Gaskó. An ant colony optimisation approach to the densest k-subgraph problem*. In 2022 24th International Symposium on Symbolic and Numeric Algorithms for Scientific Computing (SYNASC), pages 208–211, 2022.
[P25] Noémi Gaskó. Binary classification with genetic algorithms. a study on fitness functions. In Ajith Abraham, Tzung-Pei Hong, Ketan Kotecha, Kun Ma, Pooja Manghirmalani Mishra, and Niketa Gandhi, editors, Hybrid Intelligent Systems, pages 756–761, Cham, 2023. Springer Nature Switzerland.
[P26] Noémi Gaskó, Tamás Képes, Mihai-Alexandru Suciu, and Rodica Ioana Lung. Critical node detection in weighted networks. an application in data analysis. In 23nd International Conference on Hybrid Intelligent Systems, accepted, 2023.
[P27] Zoltán Tasnádi and Noémi Gaskó. Heaviest and densest subgraph computation for binary classification. a case study. In LOD 2023, page accepted. Springer, 2023.
Impactul estimat al rezultatelor obținute, cu sublinierea celui mai semnificativ rezultat obținut.
Principalele rezultate obținute au fost publicate sau trimise spre publicare la reviste bine cotate din domeniu. Toate articolele acceptate la conferint,e au fost prezentate cu un feedback bun din partea participant,ilor în urma discut,iilor. Metodele propuse deschid direct,ii noi de cercetare legate de integrarea în mod inovativ a conceptelor de teoria jocurilor în probleme de clasificare.
Pe direct,ia clasificarii supervizate cel mai important rezultat teoretic este încâ în evaluare [2]. Cea mai importanta contributîe publicata, având și aplicații practice e prezentată în [1] și descrisa pe larg mai jos. Pe direcția clasificării nesupervizate, cel mai semnificativ rezultat e prezentat în [2] unde se propune o metoda bazată pe rețele multipartite pentru clustering.
rodica.lung@econ.ubbcluj.ro