Aula 2

Leitura Recomendada:

• Cap 4.1 (atenção, a matriz de transições que o Ross usa é a transposta da que eu uso. A notação do Ross é a mais comum em matemática, enquanto a que eu uso é mais comum em aplicações fora da matemática)

Exercícios:

• Do capítulo 4: 1, 2, 3

Pontos conceituais importantes do vídeo 2.1

• A memória de um processo estocástico é basicamente a quantidade de estados passados que eu preciso para descrever os estados futuros.

• Se eu descrevo um processo estocástico usando estados Markovianos, então ele não tem memória.

• Se o meu processo tem memória finita eu sempre consigo encontrar um conjunto de estados Markovianos para ele.

Timestamps:

0:05 - O que significa um processo não ter memória

2:00 - O random self-avoiding walk como exemplo de um processo com memória

5:10 - O modelo de sol & chuva como um exemplo mais pé no chão de processo com memória

6:56 - Exemplo de realização do sol & chuva

8:05 - Qual é a memória do processo nesse caso?

9:12 - Um conjunto de estados Markoviano para o processo

Lousa do vídeo

Pontos conceituais importantes do vídeo 2.2

• A noção de ausência de memória pode ser feita mais precisa pela Propriedade de Markov.

• Processos estocásticos que obedecem à Propriedade de Markov são chamados de cadeias de Markov e serão o foco do cursoprincipal do curso

Timestamps:

0:05 - Uma descrição mais simples para o caso Markoviano

1:29 - A questão fundamental do estudo de processos estocásticos

2:51 - Como essa questão se simplifica no caso Markoviano

4:09 - A propriedade de Markov (forma rigorosa da ideia de ausência de memória)

6:24 - Cadeias de Markov

Lousa do vídeo

Pontos conceituais importantes do vídeo 2.3

• A evolução temporal de uma cadeia de Markov pode ser descrita em termos de matrizes em que as distribuições em um dado tempo são representadas por vetores coluna e as probabilidades de transição são representadas em uma matriz (chamada de matriz de transição).

• Outra forma de representar as transições possíveis é o grafo de transições que será útil daqui a algumas aulas.

Timestamps:

0:05 - A descrição matricial de distribuições

3:00 - A matriz de transição

5:45 - A evolução temporal na descrição matricial

9:37 - A equação mestra (discreta no tempo)

13:28 - Exemplo de evolução temporal (sol & chuva)

19:44 - O grafo de transições

Lousa do vídeo