Ανακοινώσεις μαθήματος Ενισχυτική μηχανική μάθηση και στοχαστικά παίγνια

προσκληση για το αυριανό μάθημα

Tue, 06 Dec 2022 09:17:09 +0300

Το αυριανό μάθημα θα γίνει μέσω webex. Ακολουθεί η πρόσκληση.

reinforcement learning
Hosted by Nicholas Kalouptsidis

https://uoa.webex.com/uoa/j.php?MTID=m9d2aa14b288cf417b2c08348680d5984
Wednesday, Dec 7, 2022 1:15 am | 2 hours | (UTC+02:00) Athens, Bucharest
Meeting number: 2734 492 5613
Password: 9AUagj6pjE3

Join by video system
Dial 27344925613@uoa.webex.com
You can also dial 62.109.219.4 and enter your meeting number.

Join by phone
+30-21-1990-2394 Greece Toll
+30-21-1198-1029 Greece Toll 2

Access code: 273 449 25613

Αναβολή σημερινού μαθήματος

Wed, 05 Oct 2022 12:34:27 +0300

Καλημέρα,

Δυστυχώς λόγω απρόβλεπτου προβλήματος δεν θα πραγματοποιηθεί το σημερινό μάθημα.

Ζητώ συγνώμη για την ταλαιπωρία.

ΝΚ

πρόσκληση μαθήματος ενισχυτική μάθηση και στοχαστικά παίγνια

Mon, 22 Nov 2021 07:39:05 +0300

Reinforcement Learning class
Hosted by Nicholas Kalouptsidis

https://uoa.webex.com/uoa/j.php?MTID=ma303f2ea8b1cae37b422f51e31616cfc
Monday, Nov 22, 2021 1:10 pm | 3 hours | (UTC+02:00) Athens, Bucharest
Meeting number: 2734 167 3870
Password: KNdDVj2kU84

Join by video system
Dial 27341673870@uoa.webex.com
You can also dial 62.109.219.4 and enter your meeting number.

Join by phone
+30-21-1990-2394 Greece Toll
+30-21-1198-1029 Greece Toll 2
Access code: 273 416 73870

Διαφάνειες μάθημα 2: Μαρκοβιανές διαδικασίες απόφασης- συμμετοχή

Wed, 20 Oct 2021 11:16:57 +0300

Καλημέρα,

Στα έγγραφα θα βρείτε τις διαφάνειες του μαθήματος 2.

Συμμετοχή στη μάθημα:

διαβάζω την ύλη που έχω διδαχθεί
μελετώ τα παραδείγματα και τον κώδικα
διευρύνω την ανάλυση ευαισθησίας
επιβεβαιώνω οτι οι ΄βασικοί αλγόριθμοι δίνουν τα ίδια αποτελέσματα
βελτιωνω το πρόγραμμα (σχετική διαφάνεια 4)
Παρατηρώ τις δομημένες μορφές των βέλτιστων πολιτικών.

εξεταση

Tue, 02 Mar 2021 07:53:23 +0300

ενισχυτική μηχανική μάθηση και στοχαστικά παίγνια
Hosted by Nicholas Kalouptsidis

https://uoa.webex.com/uoa/j.php?MTID=mc8cde730268e0d966806418c64fbd85e
Tuesday, Mar 2, 2021 2:10 pm | 3 hours | (UTC+02:00) Athens, Bucharest
Meeting number: 121 823 3008
Password: GDjCY9kj2h6

Join by video system
Dial 1218233008@uoa.webex.com
You can also dial 62.109.219.4 and enter your meeting number.

Join by phone
+30-21-1990-2394 Greece Toll
+30-21-1198-1029 Greece Toll 2
Access code: 121 823 3008

παρουσίαση εργασιών

Tue, 16 Feb 2021 08:05:53 +0300

Η παρουσίαση των εργασιών θα γίνει την Τρίτη 2 Μαρτίου στις 2 το μεσημέρι. Η διάρκεια κάθε παρουσίασης θα είναι 18 λεπτά. Προβλέπονται ακόμα 7 λεπτά για ερωτήσεις σχετικές με τις εργασίες και την ύλη του μαθήματος. Οι εργασίες πρέπει να υποβληθούν οχι αργότερα απο την Κυριακή 28/2. στην η-ταξη και με ηλ. ταχυδρομείο στον κ. Πικραμένο.

πρόσκληση συνεδρίας

Mon, 11 Jan 2021 08:30:30 +0300

Ενισχυτική μάθηση και στοχαστικά παίγνια
Hosted by Nicholas Kalouptsidis

https://uoa.webex.com/uoa/j.php?MTID=meaaa66314306046b94ff21ff0d8be2ff
Monday, Jan 11, 2021 2:15 pm | 2 hours | (UTC+02:00) Athens, Bucharest
Meeting number: 121 553 1661
Password: bPnpKNKW848
a0bd45fbe72644c0b903fdf57f06a83b

Join by video system
Dial 1215531661@uoa.webex.com
You can also dial 62.109.219.4 and enter your meeting number.

Join by phone
+30-21-1990-2394 Greece Toll
+30-21-1198-1029 Greece Toll 2
Access code: 121 553 1661

Αναβολή επόμενου μαθήματος

Sat, 28 Nov 2020 16:19:40 +0300

Το μάθημα της Δευτέρας 30/11/20 δεν θα πραγματοποιηθεί λόγω έκτακτου προβλήματος.

πρόσκληση συνεδρίας με το webex, μάθημα 6

Mon, 09 Nov 2020 06:38:55 +0300

Ενισχυτική μάθηση και στοχαστικά παίγνια
Hosted by Nicholas Kalouptsidis

https://uoa.webex.com/uoa/j.php?MTID=m6a210efc3b34bd20792ccf531d6bab76
Monday, Nov 9, 2020 2:15 pm | 3 hours | (UTC+02:00) Athens, Bucharest
Occurs every Monday effective 11/9/2020 until 12/14/2020 from 2:15 PM to 5:15 PM, (UTC+02:00) Athens, Bucharest
Meeting number: 121 403 3482
Password: arT9SxQ5Ni8
08bd8678433e42319c2824f6494e4a11_20201109T121500Z

Join by video system
Dial 1214033482@uoa.webex.com
You can also dial 62.109.219.4 and enter your meeting number.

Join by phone
+30-21-1990-2394 Greece Toll
+30-21-1198-1029 Greece Toll 2
Access code: 121 403 3482

πρόσκληση συνεδρίας με το webex, μάθημα 5

Sun, 01 Nov 2020 19:31:48 +0300

Ενισχυτική μάθηση και στοχαστικά παίγνια
Hosted by Nicholas Kalouptsidis

https://uoa.webex.com/uoa/j.php?MTID=mdd84f0c097f7f4acbb9c0408d99f23da
Monday, Nov 2, 2020 2:15 pm | 3 hours | (UTC+02:00) Athens, Bucharest
Meeting number: 121 610 5117
Password: CRufNqJV752
c4436cc9eff44b05873c9335015ad707

Join by video system
Dial 1216105117@uoa.webex.com
You can also dial 62.109.219.4 and enter your meeting number.

Join by phone
+30-21-1990-2394 Greece Toll
+30-21-1198-1029 Greece Toll 2
Access code: 121 610 5117

πρόσκληση συνεδρίας με το webex, μάθημα 4

Sun, 25 Oct 2020 17:59:12 +0300

Ενισχυτική μάθηση και στοχαστικά παίγνια
Hosted by Nicholas Kalouptsidis

https://uoa.webex.com/uoa/j.php?MTID=m3273f8204863f5eda99d0544f41a11c2
Monday, Oct 26, 2020 2:10 pm | 3 hours | (UTC+02:00) Athens, Bucharest
Meeting number: 121 346 8874
Password: pPRvPVWH338
c4b3c48a15a44e519c8f3cbd74772aa6

Join by video system
Dial 1213468874@uoa.webex.com
You can also dial 62.109.219.4 and enter your meeting number.

Join by phone
+30-21-1990-2394 Greece Toll
+30-21-1198-1029 Greece Toll 2
Access code: 121 346 8874

Διαφάνειες μαθήματος 3

Sat, 24 Oct 2020 06:06:57 +0300

Καλημέρα

Εχω αναρτήσει στα 'Εγγραφα' τις διαφάνειες του μαθήματος 3 και δυο εργασίες για τα Atari

Εργασίες τελικής αξιολόγησης

Fri, 23 Oct 2020 16:34:44 +0300

Εργασίες

Μπορείτε να επιλέξετε μια απο τις δύο κατηγορίες:

Α. Εργασίες θεωρητικού χαρακτήρα (με προοπτικη πειραματισμού με αλγορίθμους ενισχυτικής μάθησης)

Β Εργασίες με σαφή πειραματικό και προγραμματιστικό προσανατολισμό.

Α. Εργασίες θεωρητικού χαρακτήρα

Οι εργασίες αφορούν κυρίως τις ενότητες 3 και 4 και ζητήματα ακολουθιακής λήψης αποφάσεων με δύο ή περισσότερες μονάδες και αντικρουόμενα συμφέροντα. Πεδία εφαρμογής (α) η κωδικοποίηση καναλιού (με ή χωρίς ανάδραση) παρουσία κακόβουλων κόμβων και (β) η ανίχνευση ανωμαλιών (σπανίων γεγονότων) με ακολουθιακό ενεργό έλεγχο υποθέσεων (sequential active hypothesis testing).

Αξιολογείται η κριτική ικανότητα, η ικανότητα βαθύτερης γνώσης του αντικειμένου και των διεπιστημονικών τεχνικών που χρησιμοποιούνται. Περισσότερο χρησιμες σε φοιτήτριες/φοιτητές που επιθυμούν να συνεχίσουν τις σπουδές τους η να ασχοληθούν με την έρευνα σε σχετικο πεδίο.

Οι εργασίες θα ανακοινωθούν όταν εκδηλωθεί συγκεκριμένο ενδιαφέρον. Χαρακτηριστικά παραδείγματα έχουν αναρτηθεί

Shannon Meets von Neumann: A Minimax Theorem for Channel Coding in the Presence of a Jammer, Sharu Theresa Jose and Ankur A. Kulkarni, IEEE TRANSACTIONS ON INFORMATION THEORY, VOL. 66, NO. 5, MAY 2020
Policy Design for Active Sequential Hypothesis Testing using Deep Learning, Dhruva Kartik, Ekraam Sabir, Urbashi Mitra and Prem Natarajan, Oct 2018

B. Εργασίες με σαφή πειραματικό και προγραμματιστικό προσανατολισμό.

Σκοπό έχουν τη εμπρακτη κατανόηση των αλγορίθμων ενισχυτικής μάθησης.

Θα επιλέξετε μια απο τις δεκάδες εφαρμογές/περιβάλλοντα απο το OPEN AI GYM.

(available environments απο τα πιο εύκολα στα πιο δύσκολα. Classic control, algorithmic, Atari, 2D/3D robots)

Θα μελετήσετε το πρόβλημα (περιβάλλον) και τα βασικά συστατικά του (ενέργειες καταστασεις ανταμειβές) το OPEN AI GYM, το GitHub και ενδεχομένως άλλες συναφείς πηγές.

Θα πειραματιστείτε με τους υπάρχοντες αλγορίθμους αφού προηγουμένως τους μελετήσετε προσεκτικά.

Θα προγραμματίσετε/δοκιμάσετε εναν η περισσότερους αλγοριθμους που γνωρίσατε στο μάθημα. Οι κώδικες των περισσότερων είναι διαθέσιμοι on line.

Θα κάνετε συγκριτική αξιολόγηση

Θα περιγράψετε τις παρατηρήσεις και τα συμπεράσματα σας σε σύντομη έκθεση.

Μπορείτε να δηλώσετε τις συγκεκριμένες προτιμήσεις σας στον κ. Πικραμένο (gpik@di.uoa.gr).

Ν. Καλουπτσίδης

εκδηλωση ενδιαφεροντος για την εργασία του μαθήματος

Sun, 18 Oct 2020 14:22:59 +0300

Θα ήθελα να στείλετε μήνυμα επιβεβαίωσης του ενδιαφέροντος σας για το μάθημα και την εργασία.

Ετσι θα μπορέσω να καθορίσω τις εργασίες και τον τρόπο υλοποίησης τους.

πρόσκληση συνεδρίας με το webex, μάθημα 3

Sun, 18 Oct 2020 12:23:13 +0300

Ενισχυτική μάθηση και στοχαστικά παίγνια
Hosted by Nicholas Kalouptsidis

Monday, Oct 19, 2020 2:10 pm | 3 hours | (UTC+03:00) Athens, Bucharest
Meeting number: 121 872 5981
Password: jPZpEBmZ593
https://uoa.webex.com/uoa/j.php?MTID=m19276b2fcf0026f1e792a9d12db65dce

Join by video system
Dial 1218725981@uoa.webex.com
You can also dial 62.109.219.4 and enter your meeting number.

Join by phone
+30-21-1990-2394 Greece Toll
+30-21-1198-1029 Greece Toll 2
Access code: 121 872 5981

Επισκόπηση μαθήματος 3

Fri, 16 Oct 2020 11:27:33 +0300

Ολοκλήρωση και ανακεφαλαίωση του μαθήματος 2.
Συνάρτηση αξίας κατάστασης και ενέργειας, συντελεστές Q
Η βασική ιδέα της στοχαστική προσέγγισης: Robbins-Monro
Σύνοψη των βασικών αποτελεσμάτων σύγκλισης των στοχαστικών επαναληπτικών αλγορίθμων
Αλγόριθμος Q learning
Tυχαία δειγματοληψία και δειγματοληψία σε αλυσίδες Markov
Υποδείγματα γεννήτορες (generative models) και Μonte Carlo εξομείωση,
Υπολογισμός της αξίας πολιτικής με Monte Carlo
Δενδρικές αναζητήσεις Monte Carlo
Υποδείγματα χρονικής διαφοράς (temporal difference)
Αλγόριθμος SARSA

Διαφάνειες μαθήματος 2

Tue, 13 Oct 2020 16:22:09 +0300

Καλησπέρα,

Θα βρείτε στα Εγγραφα τις 'διαφάνειες' του δεύτερου μαθήματος. Εχω προσθέσει την επαλήθευση του παραδείγματος διαχείρισης εμπορευμάτων με τη βοήθεια απλού κώδικα σε python, τόσο στον πεπερασμένο χρονικό ορίζοντα όσο και στον απειρο, με τους αλγορίθμους επανάληψης αξίας και επανάληψης πολιτικής. Δείχνω οτι σε όλες τις περιπτώσεις η πολιτική παραγγελιών είναι ή ίδια.

Επισκόπηση μαθήματος 2

Fri, 09 Oct 2020 16:51:08 +0300

MDPs (single agent)

Πεπερασμένος χρονικός ορίζοντας, βέλτιστη πολιτική, αρχή της αριστότητας, αλγόριθμός δυναμικού προγραμματισμού
Παράδειγμα 1: απλοποιημένο παράδειγμα απο την διαχείριση εφοδιαστικής αλυσίδας (inventory management)
Παράδειγμα 2: απλοποιημένο παράδειγμα προγραμματισμού λειτουργιών (scheduling)
Παράδειγμα 3: Κρυφές αλυσίδες Markov (hidden Markov processes), εκτίμηση της κατάστασης με τον αλγόριθμο Viterbi
Παράδειγμα 4: Αποκωδικοποίηση συγκεραστικών κωδίκων με αποκωδικοποιητές μέγιστης πιθανοφάνειας και τον αλγόριθμο Viterbi
Απειρος χρονικός ορίζοντας, εξίσωση Bellman, η συναρτηση αξίας ως σταθερό σημείο (fixed point)
Επανάληψη αξίας (value iteration)
Επανάληψη πολιτικής (policy iteration) με την επαναληπτική εφαρμογή της αξιολογησης πολιτικής και της βελτίωσης πολιτικής
Ευρεση της βέλτισης αξίας με τη λύση πρωτεύοντος και δυικου προβλήματος γραμμικού προγραμματισμού
Τροποποιημένη και ασυγχρονη εκδοχή

Μάθημα 2 Μαρκοβιανές διαδικασίες απόφασης και δυναμικός προγραμματισμός

Fri, 09 Oct 2020 16:32:04 +0300

Ενισχυτική μάθηση και στοχαστικά παίγνια Μάθημα 2 Μαρκοβιανές διαδικασίες απόφασης και δυναμικός προγραμματισμός
Hosted by Nicholas Kalouptsidis

Monday, Oct 12, 2020 2:10 pm | 3 hours | (UTC+03:00) Athens, Bucharest
Meeting number: 121 249 4228
Password: ppTJKmyb734
https://uoa.webex.com/uoa/j.php?MTID=m5602a394463a1f7b5257a82d019917f2

Join by video system
Dial 1212494228@uoa.webex.com
You can also dial 62.109.219.4 and enter your meeting number.

Join by phone
+30-21-1990-2394 Greece Toll
+30-21-1198-1029 Greece Toll 2
Access code: 121 249 4228

Διαφάνειες μαθήματος 1

Tue, 06 Oct 2020 19:57:51 +0300

Καλησπέρα,

Θα βρείτε στα Εγγραφα τις 'διαφάνειες' του πρώτου μαθήματος. Υπενθυμίζω οτι σκοπός τους είναι να δείξουν τον γενικό προσανατολισμό του μαθήματος. Είναι πρόχειρες και προετοιμάστηκαν την τελευταία στιγμή, αφού δέν γνώριζα αν θα υπάρξει ενδιαφέρον για το μάθημα και αν τελικά θα προσφερθεί.

πρόσκληση συνεδρίας με το webex

Mon, 05 Oct 2020 12:20:41 +0300

Παρακαλώ αγνοήστε την πρόσκληση με το zoom.

Η παράδοση θα γίνει με το webex:

Ενισχυτική μάθηση και στοχαστικά παίγνια
Hosted by Nicholas Kalouptsidis

Monday, Oct 5, 2020 2:05 pm | 3 hours | (UTC+03:00) Athens, Bucharest
Meeting number: 121 045 2264
Password: rlsg
https://uoa.webex.com/uoa/j.php?MTID=m22b90eb41c735a624e7a3087d591c4ab

Join by video system
Dial 1210452264@uoa.webex.com
You can also dial 62.109.219.4 and enter your meeting number.

Join by phone
+30-21-1990-2394 Greece Toll
+30-21-1198-1029 Greece Toll 2
Access code: 121 045 2264

συμμετοχή σε συνεδρία zoom

Fri, 02 Oct 2020 13:29:15 +0300

Μετα απο σχετικά αιτήματα φοιτητών, το μάθημα θα πραγματοποιηθεί με τηλεμετάδοση.

Για τη συμμετοχή σας στο μάθημα ενισχυτική μαθηση και στοχαστικά παίγνια πρέπει να ακολουθήσετε το σύνδεσμο

Join Zoom Meeting
https://zoom.us/j/97133713276?pwd=dEpsY3FJUjBXNGdJMlFyc2FURUpxQT09

Meeting ID: 971 3371 3276
Passcode: bD0iGC

παράδοση 30/9/2019

Mon, 30 Sep 2019 17:52:37 +0300

1 οργάνωση του μαθήματος και γενική ανασκόπηση

Υποψήφιος διδακτορας που θα υποστηρίζει το μάθημα, Γιώργος Πικραμένος gpik@di.uoa.gr

2. πρώτη γνωριμία με μερικά απο τα βασικά βιβλία αναφοράς

2.1 D. Bertsekas: Dynamic Programming and optimal control vol I , third edition section 1.1

2.2 D. Bertsekas: Reinforcement learning and optimal control, section 1.2

2.3 Sutton and Burto Reinforcment learning Introduction Draft sections 1.1 1.3

2.4 Krishnamurthi Partially observed Markov decision processes

Εργασίες

Sun, 11 Nov 2018 19:35:58 +0300

Οι παρακάτω έργασίες έχουν ως περίπτωση μελέτης τα POMDPs που προκύπτουν στην ανάλυση γράφων επιθέσων και τους μηχανισμούς άμυνας που αξιοποιούν συστήματα ανίχνευσης εισβολών σε δίκτυα και σε πραγματικό χρόνο

1. Deep Reinforcement Learning and feature aggregation (Bertsekas)

2. Point based POMDP solvers

3. Approximate dynamic programming using temporal differences

3. Approximate linear programming (Bertsekas and Tsitsiklis Neuro dynamic programming

4. Score function stochastic approximation for POMDPs

5. Policy gradient reinforcement learning for multiple agents.

Μάθημα 4 και 5

Sun, 11 Nov 2018 19:19:19 +0300

Μερικώς παρατηρήσιμες Μακροβιανές διαδικασίες απόφασης

Bertsekas vol I: sections 5.1, 5.2, .5.4 (αλγόριθμος δυναμικού προγραμματισμού με βάση τα πληροφοριακά σύνολα, πιθανοτητες πίστης και βασική αναδρομή, εξίσωση Bellman με βάση την πιθανότητα πίστης), βασικές αλγοριθμικές δομές για POMDPs, ακολουθιακός έλεγχος υποθέσεων

Krishnamurthi chapter 7, sections 7.1-.7.6 (υποδείγματα μετάβασης και καταστατικά μοντέλα)

Krishnamurthi chapter 3 section 3.1 section 3.2 Η δεσμευμένη μέση τιμή ως άριστη λύση σε θέματα εκτίμησης για συναρτήσεις απώλειας Bregman

Μάθημα 3

Tue, 16 Oct 2018 17:08:22 +0300

Μάθημα 3

- Τρίτη, 16 Οκτωβρίου 2018 -

Μαρκοβιανές διαδικασίες απόφασης απειρής χρονικής διάρκειας με συντελετή προεξόφλησης.

Μετάβαση απο τον πεπερασμένο χρονικό ορίζοντα και τον δυναμικό προγραμματισμό στην Εξίωση Bellman

Υπάρξη και μονοσήμαντο της συνάρτησης αξίας:Συνάρτησεις συστολής, σταθερά σημεία, αλγόριθμος σταθερού σημείου.

Παράδειγμα, αντικατάσταση μηχανής.

Βασικά αλγοριθμικά σχήματα: Επανάληψη αξίας (value iteration), Επανάληψη πολιτικής (policy iteration) , Γραμμικός προγραμματισμός.

Εισαγωγή στις μερικώς παρατηρήσιμές Μαρκοβιανές διαδικασίες απόφασης

πηγές

Krishnamurthi sections 6.1, 6.2, 6.4.

Bertsekas vol II. Parts from sections 1.1-1.4

Ορισμός εργασιών αξιολόγησης

Sat, 13 Oct 2018 18:24:10 +0300

Ορισμός εργασιών αξιολόγησης

- Σάββατο, 13 Οκτωβρίου 2018 -

Κατηγορίες εργασιών αυξανόμενης δυσκολίας

Ι εργασιες που θα προταθούν απο την τάξη με ατομικές ή συλλογικές πρωτοβουλίες όσων παρακολουθούν,ειδικότερα εργασίες ανασκόπησης μιας ευρύτερης περιοχής (πχ οχήματα χωρίς οδηγό)

ΙΙ εργασίες που αναλύονται στα ακολουθούμενα βιβλία:

1. Controlled sensing and sensor scheduling (Krishnamurthi)

2. Mulltiarmed bandit problems (Bertsekas, ka)

3. Multiagent controlled sensing with social learning

4. POMDPs structural results (stopping time)

5. Dynamic spectrum management for cognitive radio

III εργασίες που απαιτούν και προγραμματισμό: POMDP benchmarks, path planning and human robot interaction (Hallway2, tiger grid)

IV: εμβάθυνση σε πρόσφατες δημοσιεύσεις:

1. Z.Zhou, M. Bloem and N Bambos: Infinite time horizon maximum causal entropy and inverse reinforcement learning IEEE TRANSACTIONS ON AUTOMATIC CONTROL, VOL. 63, NO. 9, SEPTEMBER 2018

2. E. Meiling M. Rasouli and D Teneketzis, A POMDP approach to large scale to the dynamic defense of large scale cyber networks, IEEE Transactions on Forensics and security, 2018

Οι λεπτομέρειες θα συζητηθούν στην τάξη.

ΝΚ

Μάθημα 2

Mon, 08 Oct 2018 18:29:09 +0300

Ολοκλήρωση της θεμελίωσης των Μαρκοβιανών διαδικασιών απόφασης

Αρχη της αριστότητας, παρουσίαση και απόδειξη του αλγορίθμου δυναμικού προγραμματισμού για περιορισμένο χρονικό ορίζοντα

Σύντομη αναφορά στις περιπτώσεις κλειστών τύπων ( linear quadratic optimal control, lattice programming)

Παράδειγμα Χρήση των MDPs στον σχεδιασμό βέλτιστων πολιτικών στις σύγχρονες εφοδιαστικές αλυσίδες.

Χρησιμοποιήθηκαν οι εξής πηγές:

D. Bertsekas Dynamic Programming and Optimal control vol I, section 1.3 (και αντίστοιχες διαφάνειες απο ΜΙΤ μάθημα), παράδειγματα 1.1.1 και 1.3.2.

Μ. Puterman: section 3.2

Μαθημα 1

Mon, 01 Oct 2018 18:40:55 +0300

Μαθημα 1

- Δευτέρα, 01 Οκτωβρίου 2018 -

Στο σημερινο μάθημα έγινε επισκόπηση της ύλης και των τεσσάρων βασικών ενοτήτων (MDPs, POMDPs, team coordinations problems, Bayesian equilibrium stochastic dynamic games). Εξηγήθηκε η οργάνωση του μαθήματος, η αξιολόγηση, το φάσμα των εργασιών (driverless cars, robotics, bayesian attack graphs and optimal defense strategies, social learning, distributed coding, ....). Η διεξοδική παρουσίαση βασίστηκε στις ενότητες:

1. Martin Puterman: Markov Decision Processes (sections 1.1 and 2.1)

2. Sutton and Barto: Reinforcement Learning (2017) (sections 1.1, 1.3, 3.1)

Καλή αρχή

ΝΚ