Alle SEO-Tools

Robots.txt-Generator

Erstellen Sie in Sekunden eine korrekt formatierte robots.txt-Datei. Steuern Sie, wie Suchmaschinen und KI-Bots Ihre Website crawlen.

Zugriffskontrolle

Zu blockierende Pfade

KI-Bot-Regeln

Aktivieren Sie dies, um zu verhindern, dass KI-Bots Ihre Inhalte für Trainingsdaten scrapen.

Sitemap-URL

Das Hinzufügen einer Sitemap hilft Suchmaschinen, alle Ihre Seiten zu finden und zu indexieren.

Crawl-Verzoegerung (optional)

Legt die Verzoegerung zwischen Crawler-Anfragen fest. Nur verwenden, wenn Ihr Server begrenzte Ressourcen hat. Google beachtet diese Anweisung nicht.

robots.txt
# robots.txt generated by google4seo.com
# Generated: 2026-03-24

User-agent: *
Allow: /

Disallow: /admin
Disallow: /api

So verwenden Sie Ihre robots.txt

  1. 1Laden Sie die generierte Datei herunter oder kopieren Sie sie
  2. 2Platzieren Sie sie im Stammverzeichnis Ihrer Website
  3. 3Überprüfen Sie die Erreichbarkeit unter ihredomain.de/robots.txt
  4. 4Testen Sie in der Google Search Console unter Einstellungen > robots.txt

Was ist robots.txt?

Die robots.txt-Datei ist eine einfache Textdatei im Stammverzeichnis Ihrer Website, die Suchmaschinen-Crawlern mitteilt, welche Seiten oder Bereiche sie crawlen duerfen und welche nicht. Sie folgt dem Robots Exclusion Protocol, einem Standard, der von allen großen Suchmaschinen einschließlich Google, Bing und Yahoo verwendet wird.

Während robots.txt helfen kann, das Crawl-Budget zu verwalten und die Indexierung nicht wesentlicher Seiten zu verhindern, ist es wichtig zu beachten, dass es eine Anweisung und kein Durchsetzungsmechanismus ist. Gutartige Bots werden die Regeln respektieren, aber boesartige Crawler könnten sie ignorieren. Für echte Zugriffskontrolle verwenden Sie serverseitige Authentifizierung.

Verwenden Sie robots.txt für:

  • Crawl-Budget für große Sites verwalten
  • Indexierung von Admin-Bereichen verhindern
  • Doppelte Inhaltsseiten blockieren
  • Crawler auf Ihre Sitemap hinweisen

Verwenden Sie robots.txt nicht für:

  • Sensitive Daten verstecken (verwenden Sie Auth)
  • Einzelne Seiten von Google blockieren (verwenden Sie noindex)
  • Link-Juice-Fluss verhindern (verwenden Sie nofollow)
  • Richtige Zugriffskontrollen ersetzen