Θεωρία Πληροφορίας

Μαθησιακά Αποτελέσματα

Στόχος του μαθήματος είναι η εξοικείωση με τις αρχές, τις έννοιες και τις εφαρμογές της θεωρία πληροφορίας. Η θεωρία πληροφορίας είναι ο επιστημονικός τομέας στα εφαρμοσμένα μαθηματικά που σχετίζεται με την ποσοτικοποίηση των δεδομένων με στόχο όσο το δυνατόν περισσότερα δεδομένα να αποθηκευτούν αξιόπιστα σε ένα μέσο ή να επικοινωνήσουν πάνω από ένα κανάλι. Το μέτρο πληροφορίας, γνωστό και ως εντροπία πληροφορίας, εκφράζεται συνήθως από το μέσο αριθμό των δυαδικών ψηφίων που απαιτούνται για την αποθήκευση ή την επικοινωνία.

Περιεχόμενα

• Οι έννοιες της εντροπίας, της πληροφορίας και του πλεονασμού.
• Βασικοί ορισμοί, έννοιες και υπολογισμοί στις πιθανότητες.
• Μελέτη των πηγών διακριτών μηνυμάτων και συνεχούς μηνύματος.
• Εισαγωγή στα σήματα και συστήματα, τη φασματική ανάλυση σημάτων και το θόρυβο.
• Η διαδικασία της δειγματοληψίας και της μετατροπή ενός συνεχούς μηνύματος σε ασυνεχές.
• Η κωδικοποίηση πηγής
• Το κανάλι μεταφοράς δεδομένων παρουσία ή απουσία θορύβου
• Η χωρητικότητά καναλιού
• Τα αποτελέσματα της παρουσίας θορύβου στο κανάλι
• Οι μέθοδοι κωδικοποίησης καναλιού (όπως, αλγεβρικοί κώδικες, κώδικες Hamming, συγκεραστικοί κώδικες) για ανίχνευση και διόρθωση λαθών.

Προτεινόμενα Συγγράμματα

• Σημειώσεις διδάσκοντα
• Thomas M. Cover & Joy A. Thomas (2006) : Elements of Information Theory, Second Edition, Wiley, ISBN: 0-471-24195-4.
• MacKay D.J.C. (2003): Information Theory, Inference, and Learning Algorithms, Cambridge University Press

Πρόσθετη βιβλιογραφία

Στο σύστημα ΕΥΔΟΞΟΣ αναρτώνται σε ηλεκτρονική μορφή χρήσιμες πληροφορίες καθώς και ασκήσεις για την εξάσκηση των φοιτητών/τριών.