Robots.txt ist eine Textdatei im Hauptverzeichnis Ihrer Website, die Suchmaschinen mitteilt, welche Bereiche sie crawlen dürfen. Eine korrekt eingerichtete robots.txt verhindert, dass Google Zeit mit unwichtigen Seiten wie dem Admin-Bereich oder Suchergebnissen verschwendet, und sorgt dafür, dass Ihre echten Inhalte Priorität erhalten. Im Folgenden erfahren Sie, wie Sie die Datei selbst erstellen, testen und anpassen.
Was robots.txt tut und was nicht
Robots.txt gibt Crawlern Richtlinien, welche Verzeichnisse und Seiten sie besuchen dürfen. Es ist besonders nützlich, um das Crawl-Budget auf wichtige Inhalte zu lenken und Suchmaschinen von Admin-Verzeichnissen, Filterseiten oder internen Suchergebnissen fernzuhalten. Was die Datei nicht tut: Inhalte wirklich verbergen. Eine Seite, die Sie mit Disallow blockieren, kann dennoch in Suchergebnissen erscheinen, wenn anderswo darauf verlinkt wird, allerdings ohne Beschreibung. Für Seiten, die absolut nicht indexiert werden dürfen, verwenden Sie einen noindex-Meta-Tag anstelle von (oder zusätzlich zu) robots.txt.
Robots.txt in WordPress erstellen
Bevor Sie beginnen, prüfen Sie zunächst, ob WordPress selbst keine Indexierung blockiert. Danach erstellen Sie die Datei manuell für volle Kontrolle.
Sichtbarkeitseinstellung prüfen
Gehen Sie im WordPress-Dashboard zu Einstellungen → Lesen und stellen Sie sicher, dass ‚Suchmaschinen sollen diese Website nicht indexieren‘ deaktiviert ist.
Dateiverwaltung öffnen
Melden Sie sich bei Ihrem Hosting-Konto an und öffnen Sie die Dateiverwaltung oder eine SFTP-Verbindung. Navigieren Sie zum public_html-Verzeichnis, dem Hauptverzeichnis Ihrer Website.
Robots.txt erstellen
Erstellen Sie eine neue Textdatei mit dem exakten Namen robots.txt, ohne zusätzliche Erweiterung, und platzieren Sie sie im Hauptverzeichnis.
Regeln hinzufügen und speichern
Fügen Sie die gewünschte Konfiguration (siehe Beispiele unten) in die Datei ein und speichern Sie sie.
Ergebnis überprüfen
Öffnen Sie ihreseite.de/robots.txt im Browser, um zu prüfen, ob die Datei korrekt sichtbar ist.
Praktische Beispiele
Eine einfache, sichere Grundkonfiguration für die meisten WordPress-Websites:
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /?s=
Disallow: /trackback/
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/uploads/
Sitemap: https://ihreseite.de/sitemap.xml
Erläuterung der wichtigsten Regeln:
Disallow: /wp-admin/ blockiert das Admin-Panel, aber Allow: /wp-admin/admin-ajax.php hält eine Datei zugänglich, die viele Plugins und Themes benötigen, um korrekt zu funktionieren. Disallow: /?s= verhindert, dass interne Suchergebnisse als Duplikate indexiert werden. Allow: /wp-content/uploads/ sorgt dafür, dass Bilder weiterhin in der Google Bildersuche auffindbar bleiben. Die Sitemap-Regel verweist Crawler auf Ihre XML-Sitemap, damit sie neue Inhalte schneller finden. Vermeiden Sie das Blockieren von /wp-content/plugins/ oder ganzen Theme-Verzeichnissen, da einige darin enthaltene CSS- und JS-Dateien benötigt werden, damit Google Seiten korrekt rendern kann.
Testen und überprüfen
Prüfen Sie nach jeder Anpassung, ob die Datei wie gewünscht funktioniert. Öffnen Sie die URL Ihrer robots.txt direkt im Browser und lesen Sie den Inhalt nach. Nutzen Sie zusätzlich die Google Search Console, um zu sehen, ob wichtige Seiten tatsächlich gecrawlt werden und keine unbeabsichtigten Blockaden auftreten. Überprüfen Sie regelmäßig, insbesondere nach der Installation neuer Plugins, der Änderung von Permalinks oder der Anpassung Ihrer Sitemap, ob die Regeln noch stimmen. Bei Fragen zu Servereinstellungen oder Plesk können Sie sich jederzeit an die Wissensdatenbank von Tandata wenden.
Häufig gestellte Fragen
Kann ich mit robots.txt Inhalte vollständig vor Google verbergen?
Nein, robots.txt blockiert Crawler, verbirgt aber Inhalte nicht vollständig. Nutzen Sie für wirklich sensible Informationen HTTP-Authentifizierung oder einen noindex-Meta-Tag.
Hat WordPress standardmäßig bereits eine robots.txt?
Falls keine eigene Datei vorhanden ist, generiert WordPress automatisch eine einfache Version. Eine manuelle Datei gibt Ihnen jedoch volle Kontrolle.
Muss ich robots.txt oft aktualisieren?
Nicht ständig, aber prüfen Sie sie nach größeren Änderungen an Ihrer Website, wie neuen Plugins, einer anderen Sitemap oder Strukturänderungen.
Blockiert robots.txt auch meine E-Mail oder andere Dienste?
Nein, robots.txt wirkt sich nur auf Webcrawler Ihrer Website aus. Einstellungen für geschäftliche E-Mail stehen hiervon völlig unabhängig.
Funktioniert robots.txt bei einer neuen Domain genauso?
Ja, das Prinzip bleibt gleich. Bei der Registrierung von Domainnamen oder beim Umzug über den Wechsel zu Tandata erstellen Sie einfach erneut eine robots.txt im Hauptverzeichnis.
Fazit
Eine korrekt eingerichtete robots.txt hilft Suchmaschinen, effizient zu crawlen, und schützt nicht-öffentliche Teile Ihrer WordPress-Website vor unnötiger Indexierung. Beginnen Sie mit einer einfachen, sicheren Grundkonfiguration, überprüfen Sie das Ergebnis im Browser und in der Search Console, und passen Sie die Regeln an, sobald sich Ihre Website verändert.