Στο κεφάλαιο αυτό θα δούμε παραδείγματα εφαρμογών που επικοινωνούν και χρησιμοποιούν πόρους του Διαδικτύου. Σκοπός είναι να εκμεταλλευτούμε τον πλούτο δεδομένων που μας παρέχει το Διαδίκτυο για να δημιουργήσουμε εφαρμογές Python που επεξεργάζονται τα δεδομένα αυτά.
Μια επιλογή που έχουμε είναι να χρησιμοποιήσουμε διεπαφές προγραμματισμού εφαρμογών (application programming interfaces, API) για να αντλήσουμε δεδομένα. Θα γράψουμε ένα πρόγραμμα που μάς ενημερώνει για τις τρέχουσες τιμές συναλλάγματος, και ένα άλλο για τις καιρικές συνθήκες ή για την πρόβλεψη καιρού σε μια ορισμένη περιοχή με τη χρήση διαθέσιμων διεπαφών. Η κύρια βιβλιοθήκη που θα χρησιμοποιήσουμε είναι η urllib.request που χρησιμοποιεί το πρωτόκολλο HTTP . Επίσης θα χρησιμοποιήσουμε τη βιβλιοθήκη json αφού τα δεδομένα που θα ανακτήσουμε είναι σε μορφή JSON.
Στη συνέχεια, θα δούμε τρόπους με τους οποίους είναι δυνατόν να αντλήσουμε δεδομένα από ιστοσελίδες που δεν προσφέρουν διεπαφή API με την τεχνική που λέγεται εξόρυξη διαδικτυακής πληροφορίας (web scraping) ή διαδικτυακή συγκομιδή (web harvesting). Στο παράδειγμα μας θα αντλήσουμε πληροφορίες για τα προγράμματα σπουδών Ελληνικών πανεπιστημίων από την ιστοσελίδα eudoxus.gr. Για το σκοπό αυτό θα χρησιμοποιήσουμε πέραν της urllib.request και τις βιβλιοθήκες re (regular expression) αναζήτησης προτύπων σε συμβολοσειρές, καθώς και τη βιβλιοθήκη συντακτικής ανάλυσης ιστοσελίδων bs4 (beutifulsoup4) .
Στην ενότητα αυτή θα χρειαστούμε μια σύντομη περιγραφή της γλώσσας σύνταξης ιστοσελίδων HTML (παρατίθεται σχετικό παράρτημα) και του προτύπου ανταλλαγής πληροφορίας XML.
Τέλος, θα γράψουμε μια σύντομη εφαρμογή που αποστέλλει μηνύματα ηλεκτρονικού ταχυδρομείου με χρήση της βιβλιοθήκης smtplib .