Περιεχόμενο μαθήματος

Περιεχόμενο μαθήματος

Στο μάθημα θα καλύψουμε τα εξής θέματα.
 
1) Αλυσίδες Markov σε διακριτό χρόνο.
2) Martingales.
3) Σημειακές Διαδικασίες Poisson.
4) Αλυσίδες Markov σε συνεχή χρόνο.

Για τα 1) και 2) θα ακολουθήσουμε τις σημειώσεις του Μιχάλη Λουλάκη και το βιβλίο του Bremaud (Κεφάλαιο 6). Για το 3) το βιβλίο του Kingman, Poisson Processes, για το 4) τα βιβλία του Bremaud και του Kulkarni.

Σύγγραμμα:

Στοχαστικές Διαδικασίες. Μιχάλης Λουλάκης.

Αναφορές:
 
1) O. Haggstrom. Finite Markov Chains and Algorithmic Applications.
2) V. Kulkarni. Modeling and Analysis of Stochastic Systems, Second Edition.
3) P. Bremaud. Markov Chains.
4) Levin, Peres, Wilmer. Markov Chains and Mixing Times. Second Edition.
 
 
Οι αναφορές είναι γραμμένες με αύξουσα σειρά δυσκολίας και συνιστώνται για παράλληλη μελέτη. Από το 1), μας αφορούν τα κεφάλαια 2-7. Διαβάζεται σύντομα και πολύ ευχάριστα. Περιέχει τα εντελώς ουσιώδη για τις αλυσίδες Markov.