Θεωρία Πληροφορίας

Διδάσκοντες Κωνσταντίνος Μαλιάτσος
Κατηγορία μαθήματος Κ
Κωδικός μαθήματος ΨΣ-805
Πιστωτικές μονάδες 5
Ώρες μαθήματος 3 ώρες
Ώρες εργαστηρίων 2 ώρες
Ηλεκτρονικό υλικό Προβολή στον Εύδοξο (Open e-Class)

Μαθησιακά Αποτελέσματα

Στόχος του μαθήματος είναι η εξοικείωση με τις αρχές, τις έννοιες και τις εφαρμογές της θεωρία πληροφορίας. Η θεωρία πληροφορίας είναι ο επιστημονικός τομέας στα εφαρμοσμένα μαθηματικά που σχετίζεται με την ποσοτικοποίηση των δεδομένων με στόχο όσο το δυνατόν περισσότερα δεδομένα να αποθηκευτούν αξιόπιστα σε ένα μέσο ή να επικοινωνήσουν πάνω από ένα κανάλι. Το μέτρο πληροφορίας, γνωστό και ως εντροπία πληροφορίας, εκφράζεται συνήθως από το μέσο αριθμό των δυαδικών ψηφίων που απαιτούνται για την αποθήκευση ή την επικοινωνία.

Περιεχόμενα

  • Οι έννοιες της εντροπίας, της πληροφορίας και του πλεονασμού.
  • Βασικοί ορισμοί, έννοιες και υπολογισμοί στις πιθανότητες.
  • Μελέτη των πηγών διακριτών μηνυμάτων και συνεχούς μηνύματος.
  • Εισαγωγή στα σήματα και συστήματα, τη φασματική ανάλυση σημάτων και το θόρυβο.
  • Η διαδικασία της δειγματοληψίας και της μετατροπή ενός συνεχούς μηνύματος σε ασυνεχές.
  • Η κωδικοποίηση πηγής
  • Το κανάλι μεταφοράς δεδομένων παρουσία ή απουσία θορύβου
  • Η χωρητικότητά καναλιού
  • Τα αποτελέσματα της παρουσίας θορύβου στο κανάλι
  • Οι μέθοδοι κωδικοποίησης καναλιού (όπως, αλγεβρικοί κώδικες, κώδικες Hamming, συγκεραστικοί κώδικες) για ανίχνευση και διόρθωση λαθών.

Προτεινόμενα Συγγράμματα

  • Σημειώσεις διδάσκοντα
  • Thomas M. Cover & Joy A. Thomas (2006) : Elements of Information Theory, Second Edition, Wiley, ISBN: 0-471-24195-4.
  • MacKay D.J.C. (2003): Information Theory, Inference, and Learning Algorithms, Cambridge University Press

Πρόσθετη βιβλιογραφία

Στο σύστημα ΕΥΔΟΞΟΣ αναρτώνται σε ηλεκτρονική μορφή χρήσιμες πληροφορίες καθώς και ασκήσεις για την εξάσκηση των φοιτητών/τριών.