Τα AI Bots Υπερφορτώνουν τους Διακομιστές της Wikipedia

Το Ίδρυμα Wikimedia έχει εκφράσει ανησυχίες για την αυξανόμενη πίεση στους servers του λόγω αυτοματοποιημένων bots που συλλέγουν δεδομένα για την εκπαίδευση των μοντέλων τεχνητής νοημοσύνης.

Η Εταιρεία αναφέρθηκε σε μια πρόσφατη ανάρτηση ότι η κίνηση που παράγεται από μηχανές συνεχίζει να αυξάνεται με ασύλληπτο ρυθμό, ενώ οι άνθρωποι αποτελούν μόνο ένα μικρό μέρος αυτής της κίνησης.

«Από τον Ιανουάριο του 2024, έχουμε δει το εύρος ζώνης που χρησιμοποιείται για τη λήψη πολυμέσων να αυξάνεται κατά 50%», αναφέρει η ανάρτηση.

«Αυτή η αύξηση δεν προέρχεται από ανθρώπινους αναγνώστες, αλλά κυρίως από αυτοματοποιημένα προγράμματα που σαρώνουν τον κατάλογο εικόνων των Wikimedia Commons με ανοιχτά αδειοδοτημένες εικόνες για να τροφοδοτήσουν τις εικόνες σε μοντέλα AI», πρόσθεσε η ανάρτηση.

Τα bots γνωστά ως crawlers κλέβουν μεγάλες ποσότητες δεδομένων από τα έργα του Wikimedia, συμπεριλαμβανομένων της Wikipedia και του Wikimedia Commons, χωρίς κατάλληλη αναφορά ή επίσημα εργαλεία πρόσβασης. Η διαδικασία καθιστά δύσκολη την ανακάλυψη του Wikimedia από νέους χρήστες και επιβάλλει υπερβολική πίεση στα τεχνικά τους συστήματα.

Για παράδειγμα, η ανάρτηση σημειώνει ότι η σελίδα του Jimmy Carter στη Wikipedia έλαβε περισσότερες από 2,8 εκατομμύρια προβολές την ημέρα που πέθανε τον Δεκέμβριο του 2024. Το βίντεο της συζήτησης του 1980 προκάλεσε σημαντική αύξηση της κυκλοφορίας στην ιστοσελίδα. Ένα βίντεο της συζήτησής του το 1980 επίσης αύξησε την κυκλοφορία. Το Wikimedia το αντιμετώπισε – αλλά μόλις και μετά βίας. Το πραγματικό πρόβλημα σύμφωνα με τους μηχανικούς είναι η συνεχής ροή της κυκλοφορίας των bots.

«Το 65% της πιο ακριβής μας κίνησης προέρχεται από bots», έγραψε η Foundation. Τα bots «διαβάζουν μαζικά» περιεχόμενο, ειδικά λιγότερο δημοφιλείς σελίδες, πράγμα που ενεργοποιεί ακριβές αιτήματα προς τα κεντρικά datacenters της Wikimedia.

Ενώ το περιεχόμενο της Wikimedia είναι δωρεάν για χρήση, οι διακομιστές της δεν είναι. «Το περιεχόμενό μας είναι δωρεάν, η υποδομή μας όχι», είπε η Foundation. Η ομάδα συνεχίζει να αναπτύσσει μεθόδους για την προώθηση της «υπεύθυνης χρήσης της υποδομής» ενθαρρύνοντας τους προγραμματιστές να χρησιμοποιούν το API αντί να αρπάζουν όλο τον ιστότοπο.

Το πρόβλημα επηρεάζει την Wikimedia αλλά και πολλές άλλες ιστοσελίδες και εκδότες. Ωστόσο, για τη μεγαλύτερη πλατφόρμα ανοιχτής γνώσης στον κόσμο, απειλεί τη σταθερότητα των υπηρεσιών που εκατομμύρια χρήστες εξαρτώνται.