Robots.txt και AI bots: να τα αφήσεις να διαβάζουν το site σου;

Σε συντομία

• Το αρχείο robots.txt καθορίζει ποια bots, και άρα ποιες μηχανές AI, μπορούν να διαβάσουν το site σου.
• Τα bots εκπαίδευσης μοντέλων και τα bots αναζήτησης είναι διαφορετικά, και η απόφαση για το καθένα δεν είναι ίδια.
• Ένας απλός έλεγχος 10 λεπτών αρκεί για να δεις αν έχεις κλείσει κατά λάθος την πόρτα στην AI.

Όταν μιλάμε για ορατότητα στην AI, σχεδόν πάντα μιλάμε για περιεχόμενο, κριτικές και brand. Υπάρχει όμως ένα βήμα πριν από όλα αυτά: η μηχανή πρέπει πρώτα να μπορεί να διαβάσει το site σου. Και αυτό το αποφασίζει ένα αρχείο που οι περισσότεροι ιδιοκτήτες δεν έχουν ανοίξει ποτέ.

Τι είναι το robots.txt και γιατί αφορά την AI

Το robots.txt είναι ένα απλό αρχείο κειμένου στη ρίζα του site σου, στη διεύθυνση onomatou.gr/robots.txt. Εκεί δηλώνεις ποια bots επιτρέπεται να διαβάζουν ποια μέρη του site.

Είναι πρότυπο που βασίζεται στην εθελοντική συμμόρφωση. Οι σοβαρές εταιρείες το σέβονται, αλλά δεν είναι κλειδαριά. Για την ώρα όμως, οι γνωστές πλατφόρμες AI δηλώνουν ότι το τηρούν, γι’ αυτό μετράει.

Δεν χρειάζεται να είσαι τεχνικός για να το διαβάσεις. Χρειάζεται να ξέρεις ότι κάθε bot έχει όνομα (το λέμε user-agent) και ότι κάθε γραμμή Disallow είναι μια πόρτα που κλείνει.

Ποια bots υπάρχουν και τι κάνει το καθένα

Τα ονόματα και οι ρόλοι αλλάζουν με τον καιρό, οπότε έλεγξε πάντα την επίσημη τεκμηρίωση κάθε εταιρείας. Σήμερα οι πιο συχνοί που θα δεις είναι:

• Googlebot: διαβάζει το site για την κανονική Αναζήτηση της Google. Αν τον μπλοκάρεις, χάνεσαι από τη Google.
• Google-Extended: ελέγχει αν το περιεχόμενό σου χρησιμοποιείται για ορισμένα προϊόντα AI της Google, όπως το Gemini. Σύμφωνα με τη Google, δεν επηρεάζει την κατάταξη στην Αναζήτηση.
• GPTBot: το bot της OpenAI που συλλέγει περιεχόμενο, κυρίως για εκπαίδευση μοντέλων.
• OAI-SearchBot: σχετίζεται με τις λειτουργίες αναζήτησης του ChatGPT.
• ChatGPT-User: εμφανίζεται όταν ένας χρήστης ζητά από το ChatGPT να ανοίξει μια σελίδα.
• PerplexityBot και ClaudeBot: τα bots του Perplexity και της Anthropic αντίστοιχα.

Δεν χρειάζεται να τα θυμάσαι όλα. Χρειάζεται να καταλάβεις ότι «bot της AI» δεν σημαίνει ένα πράγμα.

Εκπαίδευση ή αναζήτηση: η διάκριση που μετράει

Εδώ γίνεται το μεγαλύτερο μπέρδεμα. Υπάρχουν δύο διαφορετικές χρήσεις του περιεχομένου σου.

Εκπαίδευση μοντέλων. Το περιεχόμενό σου μπαίνει σε ένα σύνολο δεδομένων που βοηθά ένα μοντέλο να «μάθει». Εδώ μπορεί να έχεις λόγους να πεις όχι, για παράδειγμα αν πουλάς πρωτότυπο περιεχόμενο, μαθήματα ή αναλύσεις.

Αναζήτηση και απαντήσεις. Το bot βρίσκει σελίδες για να απαντήσει σε μια συγκεκριμένη ερώτηση, συχνά με παράθεση της πηγής. Εδώ θέλεις να είσαι παρών.

Μια τοπική επιχείρηση ζει από το δεύτερο. Όταν κάποιος ρωτά «πού να μείνω στην Κέρκυρα με παιδιά», η απάντηση χτίζεται από πηγές που η μηχανή μπορεί να φτάσει. Αν μπλοκάρεις τα πάντα επειδή «δεν θέλω να με κλέβει η AI», μπορεί να κόψεις και το κανάλι που σε φέρνει στον πελάτη. Για το ποιες πηγές διαβάζει τελικά η AI, έχω γράψει εδώ.

Τι θα έκανα σε μια μικρή τουριστική ή τοπική επιχείρηση

Για τις περισσότερες επιχειρήσεις φιλοξενίας, εστίασης, λιανικής και υπηρεσιών, η προεπιλογή μου είναι απλή: τα bots αναζήτησης επιτρέπονται. Η επιχείρησή σου θέλει να βρεθεί, δεν προστατεύει αποκλειστικό εκπαιδευτικό υλικό.

Η απόφαση για τα bots εκπαίδευσης είναι πιο προσωπική. Δύο λογικές θέσεις:

1. Ανοιχτά παντού: μεγιστοποιείς την πιθανότητα να σε «ξέρουν» τα μοντέλα. Λογικό αν το περιεχόμενό σου είναι ουσιαστικά πληροφορίες για την επιχείρηση.
2. Κλειστά μόνο τα bots εκπαίδευσης: κρατάς τον έλεγχο του περιεχομένου, αλλά αφήνεις τα bots αναζήτησης. Λογικό αν έχεις πρωτότυπα κείμενα με αξία από μόνα τους.

Δεν υπάρχει σωστό για όλους. Υπάρχει συνειδητή επιλογή, και αυτό λείπει συνήθως.

Πώς το ελέγχεις σε 10 λεπτά

Ο έλεγχος δεν θέλει προγραμματιστή.

1. Γράψε στον browser onomatou.gr/robots.txt. Αν βγει σφάλμα 404, δεν υπάρχει αρχείο και, κατά κανόνα, τίποτα δεν είναι μπλοκαρισμένο από εκεί.
2. Ψάξε γραμμές User-agent με ονόματα όπως GPTBot, PerplexityBot, ClaudeBot ή Google-Extended.
3. Δες τι ακολουθεί. Το Disallow: / σημαίνει «μην διαβάσεις τίποτα». Το Disallow: κενό σημαίνει «διάβασε τα πάντα».
4. Πρόσεξε την καθολική γραμμή User-agent: * με Disallow: /. Κλείνει όλα τα bots, και συχνά μένει από την περίοδο κατασκευής του site.

Ένα παράδειγμα συνειδητής ρύθμισης, όπου επιτρέπεις την αναζήτηση αλλά κλείνεις το GPTBot:

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

Μην αντιγράψεις κώδικα χωρίς να καταλαβαίνεις τι κάνει. Μια λάθος γραμμή μπορεί να πειράξει και το Googlebot.

Λάθη που αξίζει να αποφύγεις

• Το site έμεινε κλειστό από την κατασκευή. Πολλά sites ανεβαίνουν με απαγόρευση ευρετηρίασης και κανείς δεν την αφαιρεί. Αυτό ισχύει και για τα bots της Google, όχι μόνο της AI.
• Το μπλοκάρισμα δεν γίνεται στο robots.txt. Υπηρεσίες ασφάλειας, firewall ή CDN μπορεί να αποκλείουν bots με δικούς τους κανόνες. Αν το αρχείο φαίνεται ανοιχτό και η AI δεν σε βλέπει, ρώτα τον υπεύθυνο του hosting.
• Το περιεχόμενο φορτώνεται μόνο με JavaScript. Ορισμένα bots δεν εκτελούν JavaScript όπως ο browser σου, οπότε μπορεί να βλέπουν μια σχεδόν άδεια σελίδα. Ο πιο απλός τρόπος να το δεις είναι να δοκιμάσεις το site χωρίς JavaScript ή να ρωτήσεις αυτόν που το έφτιαξε.
• Να περιμένεις θαύματα από το llms.txt. Είναι μια προτεινόμενη σύμβαση για αρχείο που περιγράφει το site σε μοντέλα, αλλά δεν έχω δει επίσημη δήλωση από τις μεγάλες πλατφόρμες ότι το χρησιμοποιούν. Δεν θα το έβαζα πριν από τα βασικά.

Και μετά το robots.txt;

Ένα ανοιχτό robots.txt δεν σε κάνει πρόταση της AI. Σου δίνει μόνο το δικαίωμα να διαβαστείς. Από εκεί και πέρα μετράει αν το περιεχόμενό σου είναι καθαρό και δομημένο, όπως το περιγράφω στο περιεχόμενο για ανθρώπους και μηχανές, και αν το site σου κάνει πραγματικά τη δουλειά του, όπως εξηγώ στο website δεν είναι κάρτα επισκεπτηρίου.

Για το συνολικό πλαίσιο, ξεκίνα από τον οδηγό AI Search Optimization. Και αν θέλεις να δεις πού βρίσκεσαι τώρα, κάνε το τεστ 10 ερωτήσεων στο ChatGPT.

Η δουλειά για αύριο το πρωί

Άνοιξε το robots.txt του site σου. Σημείωσε τι βλέπεις. Αποφάσισε ξεχωριστά για τα bots αναζήτησης και για τα bots εκπαίδευσης. Αν δεν είσαι σίγουρος, ζήτα από όποιον διαχειρίζεται το site να σου εξηγήσει κάθε γραμμή με απλά λόγια.

Αν δεν μπορεί να το κάνει, αυτό είναι ήδη πληροφορία.

Συχνές ερωτήσεις

Σπύρος Ανδριώτης

Ιδρυτής της REDPLUS+ GROUP, της πρώτης εταιρείας AI Search Optimization στην Ελλάδα. 20+ χρόνια στο μάρκετινγκ. Γράφει από την Κέρκυρα.

LinkedInΠερισσότερα