Graphes et chaînes de Markov