Probability Seminar

FMI & IMAR


This seminar is intended as a working seminar and its purpose is to be accessible to anyone with some probability background. 

It is primarly organized by the Faculty of Mathematics of University of Bucharest and the Institute of Mathematics "Simion Stoilow" of the Romanian Academy in hybrid format. 

The main talks are geared toward people who are not specialists in the area but it does not exclude more specialized topics.  The schedule is posted here. 

The seminar is on Mondays 10-11am at IMAR, room 804 (eigth floor)

The google meet link is this:  meet.google.com/zqf-wrka-cpq  

Talks 2023

Title: Overcoming the course of dimensionality: from nonlinear Monte Carlo to the training of neural networks 

Partial differential equations (PDEs) are among the most universal tools used in modelling problems in nature and man-made complex systems. Nearly all traditional approximation algorithms for PDEs in the literature suffer from the so-called "curse of dimensionality" in the sense that the number of required computational operations of the approximation algorithm to achieve a given approximation accuracy grows exponentially in the dimension of the considered PDE. With such algorithms it is impossible to approximatively compute solutions of high-dimensional PDEs even when the fastest currently available computers are used. In the case of linear parabolic PDEs and approximations at a fixed space-time point, the curse of dimensionality can be overcome by means of Monte Carlo approximation algorithms and the Feynman-Kac formula. In this talk we present an efficient machine learning algorithm to approximate solutions of high-dimensional PDE and we also prove that deep artificial neural network (ANNs) do indeed overcome the curse of dimensionality in the case of a general class of semilinear parabolic PDEs. Moreover, we specify concrete examples of smooth functions which cannot be approximated by shallow ANNs without the curse of dimensionality, but which can be approximated by deep ANNs without the curse of dimensionality. In the final part of the talk we present some recent mathematical results on the training of neural networks.


We study the high dimensional aspect of linear regression with an ℓ1 penalty. While classical, numerical algorithms are available for Lasso, our focus is on developing a hybrid quantum algorithm that offers new insights and speedup. Quadratic speedup is theoretically possible over the classical Homotopy (Least Angle Regression) method. In particular, we provide a general setup for Lasso solutions as the penalty term varies.  Several challenges remain in creating such an algorithm.  The task is fraught with difficulties. Still the pursuit is worthwhile and we will elucidate how to go about this. The talk should be accessible to those without knowledge of quantum computing!


I will present some results of accelerated methods for optimization of a convex function using some accelerated methods.  There are some classical, recent and very recent results which deserve attention.  The papers I am going to base my talk: 

Accelerated variational methods and the interesting paper by Convergence for Heavy Ball methody and also this FISTA for strongly convex functions 

We revisit the problem of unbalanced optimal transport for which we introduce an analogue of the the Schr"odinger problem leading to its entropic regularization which then can be solved via by iterative scaling similar to the Sinkhorn algorithm from the standard balanced case. It turns out that entropic regularization and iterative scaling as computational tool can be applied to a much larger class of linear programs. 



We show how the Convolutional Neural Networks do not use global shape for recognizing objects but use micro-features,     which can lead to errors in more involved industry related problems.


This is about some classical aspects of ICA (independent component analysis) with some by now standard algorithms.  

I will discuss some conjectures related to independent component analysis with k speakers and p microphones.  The interesting phenomena is when the number of microphones is much smaller than the number of speakers and we will see some conjectures around this.  



  Pe parcursul seminarului vor fi prezentate bazele cuantizării geometrice, cuprinzând definirea spațiului Hilbert precuantic, modul de utilizare al polarizărilor, precum și relevanța acestora în contextul teoriei probabilităților. 

  Odată ce a fost stabilită o modalitatea precisă de a asocia o dinamică unitară unui curent diferențial, vom încerca să înțelegem corespondența dinamicii cuantice cu dinamica stocastică rezultată prin aplicarea transformatei Wigner-Moyal. 



Language Models (LMs) aim to model a probability distribution over a sequence of words. This simple setting and its variants have shown a huge potential in solving many AI applications dealing with natural language as well as other modalities. In this presentation, we will discuss how LMs evolved from the perspective of model architectures, including classical RRNs and advanced Transformers. We will cover various algorithms to transfer the learning of an LM to solve a given downstream task efficiently. We will also touch upon emerging approaches to prune large models, preserve user-private information, and de-biasing techniques. In the end, we will discuss the basics of training methods adopted by recent and widely famous systems such as ChatGPT with a large LM as its backbone.


This is the continuation of the previous two lectures on mathematical finance.  I will finally arrive at the continuous case and discuss the Black-Scholes equation appearence and eventually how one can solve it.  


Tropical geometry deals with certain piecewise linear geometric 

objects with rich combinatorial structure. Its algebraic roots can be 

traced from combinatorial optimization and dynamic programming from 

1960s, but the geometric viewpoint arose from algebraic geometry at 

the beginning of 21st century. This led to various connections to 

other subjects, including computational biology and machine learning.

In this talk we will present the basic notions from tropical geometry 

that appear mostly in data science. On one hand, we focus on tropical 

convexity, which are important in phylogenetics. The data consists of 

evolutionary trees which can be seen as points in a certain tropically 

convex set.  On the other hand, we will focus on tropical hypersurfaces and its 

combinatorial properties. They were recently studied in their 

relationship to neural networks with ReLU activation function. This 

led to complexity results in deep learning theory.


I will present a simple introduction to the fundamental theorem of mathematical finance.  I will do it first in the case of binomial model in the discrete case where the main concept of no arbitrage market plays the central role which in turn yields the main result.  In the continous case, this is more involved, but the fundamental principle is almost the same.  In this second round of the seminar, the goal is to see the how the Black-Sholes ecuation appears.  

I will present a simple introduction to the fundamental theorem of mathematical finance.  I will do it first in the case of binomial model in the discrete case where the main concept of no arbitrage market plays the central role which in turn yields the main result.  In the continous case, this is more involved, but the fundamental principle is almost the same.    

Abstract:

Conținutul este structurat pe durata a două seminarii în modul următor:

Cu ocazia primului seminar vom pleca de la definiția Proceselor Lévy. Un exemplu de proces Lévy este și procesul de difuzie cu salturi, vom vedea că funcția sa caracteristică are forma prescrisă de Teorema Lévy-Kincin.

 - O consecință a faptului că formula Lévy-Kincin caracterizează exponentul caracteristic al unei distribuții in(de)finit divizabile, iar procesele Lévy au distribuții de acest fel. Mai general, vom vedea cum formula Lévy-Itô de descompunere este inerent legată de Teorema Levy-Kincin

  - De asemenea vom vedea faptul că procesele Lévy sunt procese Markov, având semigrupul de tranziție asociat chiar un semigrup de convoluție, al cărui generator infinitezimal este un Operator Lévy, rezolvă problema Martingalului și constituie un operator pseudodiferențial, al cărui simbol este întocmai exponentul caracteristic prescris de formula Lévy-Kincin.  

O formă aparent identică cu cea a Operatorilor Lévy vom regăsi pe parcursul celui de-al doilea seminar pentru Operatorii Weyl ai Mecanicii Cuantice. 

- În cel de-al doilea seminar vom prezenta legătura inerentă dintre formalismul Hamiltonian al Mecanicii Cuantice, geometria simplectică și operatorii Mecanicii Cuantice. Voi prezenta bazele Cuantificării Geometrice - mai precis, voi prezenta cuantificarea Weyl; astfel încât la sfârșitul celui de-al doilea seminar vom putea avea o imagine unitară a conexiunii dintre:

  - semigrupul de simplectomorfisme (curentul diferențial) asociat unui sistem dinamic în geometria diferențială/mecanica clasică 

   - semigrupul de operatori unitari asociat evoluției în timp a unei observabile în Mecanica Cuantică

   - semigrupul de tranziție asociat unui proces Markov în analiza stocastică.

Ca un pas intermediar, în primul seminar vom discuta și despre aplicarea metodei dilatărilor (P.Halmos) pentru a pune în corespondență dinamica unui lanț Markov și dinamica unui sistem cuantic reprezentat pe o sferă complexă. Aspectele acestei conexiuni nu au doar o valoare pur-teoretică, ele pot fi aplicate în modelarea de qubits - pe sfera Bloch, respectiv în calculul cuantic sau în procedee precum tomografia cuantică. 

 În plus pe această cale este devoalată o legătură subtilă între grafuri (asociate dinamicii unui lanț Markov) și spațiile proiective complexe, respectiv sferele cuantice (asociate dinamicii cuantice unitare).


Abstract:

Conținutul este structurat pe durata a două seminarii în modul următor:

Cu ocazia primului seminar vom pleca de la definiția Proceselor Lévy. Un exemplu de proces Lévy este și procesul de difuzie cu salturi, vom vedea că funcția sa caracteristică are forma prescrisă de Teorema Lévy-Kincin.

 - O consecință a faptului că formula Lévy-Kincin caracterizează exponentul caracteristic al unei distribuții in(de)finit divizabile, iar procesele Lévy au distribuții de acest fel. Mai general, vom vedea cum formula Lévy-Itô de descompunere este inerent legată de Teorema Levy-Kincin

  - De asemenea vom vedea faptul că procesele Lévy sunt procese Markov, având semigrupul de tranziție asociat chiar un semigrup de convoluție, al cărui generator infinitezimal este un Operator Lévy, rezolvă problema Martingalului și constituie un operator pseudodiferențial, al cărui simbol este întocmai exponentul caracteristic prescris de formula Lévy-Kincin.  

O formă aparent identică cu cea a Operatorilor Lévy vom regăsi pe parcursul celui de-al doilea seminar pentru Operatorii Weyl ai Mecanicii Cuantice. 

- În cel de-al doilea seminar vom prezenta legătura inerentă dintre formalismul Hamiltonian al Mecanicii Cuantice, geometria simplectică și operatorii Mecanicii Cuantice. Voi prezenta bazele Cuantificării Geometrice - mai precis, voi prezenta cuantificarea Weyl; astfel încât la sfârșitul celui de-al doilea seminar vom putea avea o imagine unitară a conexiunii dintre:

  - semigrupul de simplectomorfisme (curentul diferențial) asociat unui sistem dinamic în geometria diferențială/mecanica clasică 

   - semigrupul de operatori unitari asociat evoluției în timp a unei observabile în Mecanica Cuantică

   - semigrupul de tranziție asociat unui proces Markov în analiza stocastică.

Ca un pas intermediar, în primul seminar vom discuta și despre aplicarea metodei dilatărilor (P.Halmos) pentru a pune în corespondență dinamica unui lanț Markov și dinamica unui sistem cuantic reprezentat pe o sferă complexă. Aspectele acestei conexiuni nu au doar o valoare pur-teoretică, ele pot fi aplicate în modelarea de qubits - pe sfera Bloch, respectiv în calculul cuantic sau în procedee precum tomografia cuantică. 

 În plus pe această cale este devoalată o legătură subtilă între grafuri (asociate dinamicii unui lanț Markov) și spațiile proiective complexe, respectiv sferele cuantice (asociate dinamicii cuantice unitare).


Abstract:

Conținutul este structurat pe durata a două seminarii în modul următor:

Cu ocazia primului seminar vom pleca de la definiția Proceselor Lévy. Un exemplu de proces Lévy este și procesul de difuzie cu salturi, vom vedea că funcția sa caracteristică are forma prescrisă de Teorema Lévy-Kincin.

 - O consecință a faptului că formula Lévy-Kincin caracterizează exponentul caracteristic al unei distribuții in(de)finit divizabile, iar procesele Lévy au distribuții de acest fel. Mai general, vom vedea cum formula Lévy-Itô de descompunere este inerent legată de Teorema Levy-Kincin

  - De asemenea vom vedea faptul că procesele Lévy sunt procese Markov, având semigrupul de tranziție asociat chiar un semigrup de convoluție, al cărui generator infinitezimal este un Operator Lévy, rezolvă problema Martingalului și constituie un operator pseudodiferențial, al cărui simbol este întocmai exponentul caracteristic prescris de formula Lévy-Kincin.  

O formă aparent identică cu cea a Operatorilor Lévy vom regăsi pe parcursul celui de-al doilea seminar pentru Operatorii Weyl ai Mecanicii Cuantice. 

- În cel de-al doilea seminar vom prezenta legătura inerentă dintre formalismul Hamiltonian al Mecanicii Cuantice, geometria simplectică și operatorii Mecanicii Cuantice. Voi prezenta bazele Cuantificării Geometrice - mai precis, voi prezenta cuantificarea Weyl; astfel încât la sfârșitul celui de-al doilea seminar vom putea avea o imagine unitară a conexiunii dintre:

  - semigrupul de simplectomorfisme (curentul diferențial) asociat unui sistem dinamic în geometria diferențială/mecanica clasică 

   - semigrupul de operatori unitari asociat evoluției în timp a unei observabile în Mecanica Cuantică

   - semigrupul de tranziție asociat unui proces Markov în analiza stocastică.

Ca un pas intermediar, în primul seminar vom discuta și despre aplicarea metodei dilatărilor (P.Halmos) pentru a pune în corespondență dinamica unui lanț Markov și dinamica unui sistem cuantic reprezentat pe o sferă complexă. Aspectele acestei conexiuni nu au doar o valoare pur-teoretică, ele pot fi aplicate în modelarea de qubits - pe sfera Bloch, respectiv în calculul cuantic sau în procedee precum tomografia cuantică. 

 În plus pe această cale este devoalată o legătură subtilă între grafuri (asociate dinamicii unui lanț Markov) și spațiile proiective complexe, respectiv sferele cuantice (asociate dinamicii cuantice unitare).


This is intended as a working seminar to understand some of the powerful results related to convergence of Markov processes from some of the papers of Hairer:  http://www.hairer.org/notes/Markov.pdf and https://hairer.org/notes/Convergence.pdf


Talks 2022

This is intended as a working seminar to understand some of the powerful results related to convergence of Markov processes from some of the papers of Hairer:  http://www.hairer.org/notes/Markov.pdf and https://hairer.org/notes/Convergence.pdf


This is intended as a working seminar to understand some of the powerful results related to convergence of Markov processes from some of the papers of Hairer:  http://www.hairer.org/notes/Markov.pdf and https://hairer.org/notes/Convergence.pdf


How do we simulate a singular stochastic diffusion with high efficiency? In the context of Schramm- Loewner evolution, we study the approximation of its traces via the Ninomiya-Victoir Splitting Scheme. We prove a strong convergence in probability with respect to the sup-norm to the distance between the SLE trace and the output of the Ninomiya-Victoir Splitting Scheme when applied in the context of the Loewner differential equation.


We will rediscuss the fundamental Theorem of machine learning and introduce the VC dimension with some examples.  


After introducing the machine learning problem and starting the proof of it, we will see how the Rademacher complexity and the VC dimension appear naturally.  


I will discuss some aspects of the fundamanetal theorem of machine learning.  There is a natural framework in which one can define the machine learning problem.  One of the key ingredients in there is the appearance of VC dimension, which seems very misterious.  The interesting fact is that this VC dimension appears naturally in the process of the proof of the main theorem.  


Mihai ne va povesti ce sunt masurile de risc in sectorul financiar si cum sunt modelate probabilist.  De asemenea ne va povesti cum sunt introduse, ce anume exemple avem si cum arata aceste masuri de risc in general pe spatii finite.  Aceasta este parte din lucrarea de licenta pe care o va prezenta in vara.  


In acest seminar vom vorbi despre lanturi de ordin infinit (cunoscute in literatura si sub numele de lanturi cu conexiuni complete sau masuri-g). In particualr, vom discuta despre un rezultat de existenta si cateva criterii de unicitate.


Dupa ce am introdus un pic problema de lanturi Markov, vom incerca intelegerea teoremi Perron Frobenius si formularea precisa a lantului Markov de card shuffling.  


Dupa ce am introdus un pic problema de lanturi Markov, vom inainta in intelegerea teoremei 3.33 de aici:  http://www.hairer.org/notes/Markov.pdf.  Vom incerca intelegerea teoremi Perron Frobenius si formularea precisa a lantului Markov de card shuffling.  


Dupa ce am introdus un pic problema de lanturi Markov, vom inainta in intelegerea teoremei 3.33 de aici:  http://www.hairer.org/notes/Markov.pdf.


Voi incerca sa prezint ce este un lant Markov si cum se analizeaza el din punct de vedere analitic si probabilist.  Scopul mai larg ar fi sa incercam sa intelegem teorema 3.33 de aici:  http://www.hairer.org/notes/Markov.pdf.


In acest seminar vom vorbi despre ce este o "solutie maximala" pentru un sistem specific de ecuatii cu derivate partiale stocastice si vom arata ca timpii maximali care corespund la doua norme Sobolev diferite sunt P - aproape sigur egali.  


In acest seminar vom vorbi despre ce este o "solutie maximala" pentru un sistem specific de ecuatii cu derivate partiale stocastice si vom arata ca timpii maximali care corespund la doua norme Sobolev diferite sunt P - aproape sigur egali.  


 Stim ca daca o functie este polinom pe un interval, atunci derivata repetata se anuleaza de la un rang incolo.   Intrebarea inversa, daca avem o functie $f$ pe un interval (deschis) I al axei reale are proprietatea ca pentru orice punct $x\in I$ exista un numar natural $n=n_x$ pentru care $f^{(n)}(x)=0$, rezulta ca $f$ este polinom?  Raspunsul la aceasta intrebarea are niste consecinte foarte interesante pentru retelele neuronale! 


Metoda probabilista este o metoda propusa de Paul Erdos care este foarte folosita mai ales in combinatorica.  Voi introduce metoda, si voi discuta cazul grafurilor Erdos Reyni G(n,p).  Exista o legatura foarte profunda cu procesele de branching ce apar natural in aceasta zona si care descriu ce se intampla cu componentele conexe mari in aceasta grafuri aleatoare cand n tinde la infinit si p=c/n.  Avem o tranzitie foarte interesanta pentru cazul c<1, c=1, c>1.  Referinta de baza este cartea lui Noga Alon si Joel Spencer, The Probabilistic Method.


Modelul SIR este un model de ecuatii diferentiale pentru propagarea unei epidemii.  Aici vom discuta varianta probabilista de interactiune la nivel de individ.  Modelul SIR va fi vizibil ca o varianta in medie a acestor interactii individuale.  


Voi prezenta o conjectura si o abordare partiala pentru aceasta problema.  ICA este acronimul pentru independent component analysis, care isi are originea intr-o metoda de a recupera vocile individuale din inregistrari ale uni numar de vorbitori. Articolul de baza este aici:  https://arxiv.org/abs/1901.08334

 

Voi povesti o abordare a analizei evolutiei Covid in Romania pe care Marian Petrica si cu mine am pus-o la punct recent.  Modelul de baza este SIRD, o varianta a SIR care tine cont de morti ca fiind o categorie separata.  Articolul de baza este: https://arxiv.org/abs/2203.00407 


Aceasta metoda de optimizare este bazata pe idea ca mai multe particule testeaza individual valoarea unei functii insa la fiecare iteratie are loc o evaluare bazata pe performanta individuala si pe cea globala ceea ce duce la o optimizare destul de rapida.  Din pacate partea matematica ce justifica aceasta eficienta nu este lamurita.  

Talks 2021


MPL este o retea neuronala recent scoasa la iveala care are performante remarcabile comparat cu retelele mai consacrate.  Articolul de baza este aici:  https://arxiv.org/abs/2105.01601


Pentru o retea neuronala, cu mai multi neuroni decat data disponibile pentru problemele de regresie regimul de parametrii pentru punctele de minim este o varietate de o anumita dimensiune.  Bazat pe articolulul:  https://arxiv.org/abs/2005.04210


In principiu este vorba de un random walk in care pasii inainte nu sunt independenti ci pot fi pasi pe care drumul le-a mai facut inainte.  Cum se modeleaza acest lucru si ce anume se intampla cand numarul de pasi este mare ramane de vazut.  Bazate pe articolul: https://arxiv.org/abs/1906.04930

Resources