Conceitos gerais. Cadeias de Markov a tempo discreto. Processos de Poisson. ProcessosMarkovianos a tempo contínuo: Processos de Nascimento Puro, Processos de Morte Pura e Processos de Nascimento e Morte. Motivações à Teoria de Filas. Martingais. 

Capacitar o aluno para a modelagem de fenômenos aleatórios com dinâmicas no tempo tanto discreto quanto contínuo. 

UNIDADE  I  

Revisão de Probabilidade: Espaços de Probabilidade, Propriedades de seqüências de eventos (limsup e liminf); Probabilidade condicional; Independência; Variáveis Aleatórias; Esperança e Esperança Condicional; Função Geratriz de Momentos e Função Característica. Definição rigorosa de Processo Estocástico: Processos Estocásticos a tempo discreto e a tempo contínuo; espaço de estados enumerável e não-enumerável; função amostra; processos de incrementos independentes; processos de incrementos estacionários; processos de segunda ordem.

UNIDADE II 

Cadeias de Markov a tempo discreto: Definição. Probabilidades de transição estacionárias. Matriz de Transição de Probabilidades. Alguns Modelos de Cadeias de Markov: O Passeio Aleatório, a Cadeia de Ehrenfest, a Cadeia da Ruína do Jogador, a Cadeia de Nascimento e Morte, a Cadeia de Ramificação, a Cadeia para Genes na Biologia e a Cadeia de Estocagem ou Modelo de Inventário. A Equação de Chapman-Kolmogorov e conseqüências para as álgebras da matriz de transição de probabilidades estacionárias. Diagonalização de Matrizes. Tempo de primeiro alcance. Probabilidades de primeira passagem e primeiro retorno. Classificação da cadeia (redutível/irredutível) e dos estados (recorrentes/transientes, periódicos/aperiódicos, nulos/positivos, ergódicos, absorventes) e resultados fundamentais. Cadeias redutíveis: Probabilidades de absorção. Formas matriciais para probabilidades de absorção. Tempo médio de visitas a estados transientes. Tempo médio até a absorção. Distribuições Limites e Distribuições Estacionárias. Cadeias Ergódicas. Tempo médio de primeira passagem e de primeiro retorno de cadeias de Markov ergódicas. As cadeias de nascimento e morte e de ramificaçãorevisitadas com os resultados teóricos alcançados. Reversibilidade no tempo de Cadeias de Markov: motivações para as simulações MCMC.

UNIDADE III 

Processos de Poisson: Definição de processos de contagem. Definição de Processo de Poisson. Obtenção das probabilidades do processo, via hipóteses de Poisson e solução de EDO. Distribuições do tempo entre chegadas e de tempo de espera do Processo de Poisson. Distribuição condicional do tempo de chegadas. Processo de Poisson composto: motivações e exemplos. Processos de Poisson Mistos ou Condicionais: motivações e exemplos. Superposição e Decomposição de Processos de Poisson. O Processo de Poisson Não-Homogêneo: hipóteses, motivações e dedução da distribuição do processo via EDO.

UNIDADE IV 

Cadeias de Markov a tempo contínuo: Definição e exemplos. Processos de Nascimento Puro: hipóteses e obtenção das distribuições condicionais do processo via EDO; o processo de Poisson como caso prototípico de Processos de Nascimento Puro. Processos de Morte Pura: hipóteses e obtenção das distribuições condicionais do processo via EDO. Processos de Nascimento e Morte: hipóteses e obtenção das distribuições condicionais do processo via EDO; comportamento limite de processos de Nascimento e Morte. Processos de Nascimento e Morte com estados absorventes. Motivações à Teoria de Filas.

UNIDADE V

Martingais: Definição, motivações e exemplos. A desigualdade maximal para Martingaisnão-negativos. A desigualdade de Doob-Kolmogorov: motivações e exemplos.

BIBLIOGRAFIA

[1] ROSS, Sheldon M. Introduction to probability models — 8.ed.– Amsterdam : Academic Press, c2003

[2] ROSS, Sheldon M. Stochastic processes –. — 2. ed.– — New York : John Wiley & Sons, c1996.

[3] KARLIN, Samuel e TAYLOR, Howard M. First Course in Stochastic Processes. — 02 — New York: Academic Press, c1975.

[4] LAWLER, Gregory F., Introduction to stochastic processes / Gregory F. Lawler. — 2.ed. — Boca Raton : Chapman & Hall, 2006.

[5] DURRETT, Richard. Probability : theory and examples –. — 4.ed.– — New York : Cambridge University Press, c2010.

[6] GRIMMETT, Geoffrey e Stirzaker, David R. Probability and Random process.–. — New York : Oxford University Press, 2001.