Sitemap und robots.txt richtig konfigurieren

Zwei kleine Textdateien steuern, wie Suchmaschinen Ihre Website entdecken und crawlen: die XML-Sitemap und die robots.txt. Beide werden regelmäßig unterschätzt — und fehlerhaft konfiguriert. Für Praxiswebsites mit 20 bis 100 URLs sind sie schnell korrekt eingerichtet, aber ein einziger Fehler kann dazu führen, dass wichtige Seiten nicht indexiert werden oder das Crawl-Budget verschwendet wird.

Dieser Artikel erklärt, wie Sitemap und robots.txt funktionieren, welche Fehler häufig vorkommen und wie Sie beide Dateien für optimale Indexierung konfigurieren.

Die robots.txt: Zugangskontrolle für Crawler

Die robots.txt liegt im Root-Verzeichnis der Domain (beispielpraxis.de/robots.txt) und teilt Suchmaschinen-Crawlern mit, welche Pfade sie nicht crawlen sollen. Sie steuert Crawling, nicht Indexierung — ein wichtiger Unterschied, der oft missverstanden wird.

Eine Seite, die in der robots.txt blockiert ist, wird nicht gecrawlt. Sie kann aber trotzdem indexiert werden, wenn externe Links auf sie verweisen — Google zeigt dann einen Snippet ohne Beschreibung. Um eine Seite zuverlässig von der Indexierung auszuschließen, braucht es ein noindex-Meta-Tag oder einen X-Robots-Tag-Header.

Für Praxiswebsites empfiehlt sich eine einfache robots.txt:

User-agent: *
Allow: /
Disallow: /admin/
Disallow: /danke/
Sitemap: https://www.beispielpraxis.de/sitemap-index.xml

Allow: / stellt sicher, dass alle öffentlichen Seiten gecrawlt werden dürfen. Disallow-Einträge nur für Bereiche, die nicht crawlt werden sollen: Admin-Bereiche, Dankesseiten nach Formularabsendung, interne Testseiten. Der Sitemap-Verweis am Ende hilft Crawlern, die Sitemap zu finden.

Häufiger Fehler: Die gesamte Website blockieren, weil die Seite „noch in Entwicklung“ ist, und die robots.txt nach dem Launch vergessen zu aktualisieren. Ein Blick in die Search Console unter „robots.txt“ zeigt, ob kritische Pfade blockiert sind.

Die XML-Sitemap: Roadmap für Suchmaschinen

Die XML-Sitemap listet alle URLs, die indexiert werden sollen. Sie ist eine Empfehlung, kein Befehl — Google crawlt und indexiert Seiten auch ohne Sitemap, aber die Sitemap beschleunigt die Entdeckung neuer und aktualisierter Inhalte.

Jeder Eintrag enthält mindestens die URL (loc). Optional: lastmod (Datum der letzten Änderung), changefreq (Änderungshäufigkeit) und priority (relative Priorität). Google nutzt lastmod, wenn es plausibel ist. changefreq und priority werden weitgehend ignoriert — sie schaden nicht, sind aber kein Ranking-Faktor.

Für Praxiswebsites mit überschaubarer Größe reicht eine einzelne Sitemap. Ab 50.000 URLs oder 50 MB (unkomprimiert) sind Sitemap-Index-Dateien nötig — bei Praxiswebsites selten der Fall.

Typische URLs in einer Praxis-Sitemap: Startseite, Leistungsseiten, Teamprofile, Standort- und Kontaktseiten, Blogartikel, rechtliche Seiten (Impressum, Datenschutz). Nicht aufnehmen: Dankesseiten, Admin-Bereiche, URLs mit noindex, Duplicate-URLs mit Parametern.

Sitemap automatisch generieren

Bei statischen Websites mit Astro lässt sich die Sitemap automatisch beim Build generieren. Das @astrojs/sitemap-Integration erstellt sitemap-index.xml und einzelne Sitemap-Dateien basierend auf allen generierten Seiten. Neue Seiten erscheinen automatisch in der Sitemap, gelöschte verschwinden.

Konfiguration in astro.config.mjs:

import sitemap from '@astrojs/sitemap';

export default defineConfig({
  site: 'https://www.beispielpraxis.de',
  integrations: [sitemap({
    filter: (page) => !page.includes('/danke/'),
  })],
});

Der filter schließt Dankesseiten und andere nicht-indexierbare URLs aus. lastmod wird automatisch aus den Dateiänderungsdaten oder Frontmatter-Daten gesetzt.

Bei WordPress-Websites generieren Plugins wie Yoast SEO oder Rank Math die Sitemap automatisch. Wichtig: Prüfen, ob die Plugin-Sitemap alle relevanten Post Types enthält und keine unnötigen URLs (Tags, Autoren-Archive) auflistet.

Sitemap in der Search Console einreichen

Nach der Erstellung die Sitemap in der Google Search Console unter „Sitemaps“ einreichen. Google meldet, wie viele URLs gefunden und indexiert wurden. Diskrepanzen — viele gefundene, wenige indexierte URLs — deuten auf Indexierungsprobleme hin.

Die Search Console zeigt auch, wann Google die Sitemap zuletzt abgerufen hat. Bei regelmäßig aktualisierten Blogs empfiehlt sich ein Ping an Google nach neuen Artikeln: https://www.google.com/ping?sitemap=https://www.beispielpraxis.de/sitemap-index.xml

Bing Webmaster Tools bieten eine ähnliche Sitemap-Einreichung. Bei lokaler Praxissichtbarkeit ist Google prioritär, aber Bing-Einreichung kostet wenig Aufwand.

Häufige Fehler und wie Sie sie vermeiden

robots.txt blockiert die Sitemap selbst oder wichtige CSS/JS-Dateien. Google braucht CSS und JavaScript zum Rendern — blockierte Ressourcen können zu unvollständigem Rendering und falschen Indexierungsentscheidungen führen.

Sitemap enthält noindex-URLs oder URLs mit 301-Weiterleitungen. Das verwirrt Crawler und verschwendet Crawl-Budget. Sitemap enthält HTTP-URLs statt HTTPS. Nach einem Relaunch fehlen 301-Weiterleitungen, und die alte Sitemap listet nicht mehr existierende URLs.

Mehrere konkurrierende Sitemaps — ein Plugin, ein Theme und ein manuell erstelltes File. Ergebnis: Duplicate-URLs in verschiedenen Sitemaps. Eine einzige, autoritative Sitemap pro Website ist der saubere Standard.

lastmod-Datum stimmt nicht: Wenn bei jedem Build das aktuelle Datum gesetzt wird, ohne dass sich der Inhalt geändert hat, verliert lastmod seine Aussagekraft. Nur bei tatsächlichen Content-Änderungen aktualisieren.

Sitemap und robots.txt nach einem Relaunch

Bei jedem Website-Relaunch müssen beide Dateien neu geprüft werden. Neue URL-Struktur: Sitemap mit neuen URLs generieren, alte URLs per 301 weiterleiten. robots.txt: Disallow-Regeln an neue Pfade anpassen, Sitemap-URL aktualisieren.

In der Search Console die alte Sitemap entfernen und die neue einreichen. Die „Abdeckung“ überwachen, bis alle wichtigen URLs indexiert sind. Bei Praxiswebsites mit etablierten lokalen Rankings sollte der Relaunch so geplant werden, dass Indexierungslücken minimal sind — idealerweise über Nacht oder am Wochenende mit sofortiger Sitemap-Einreichung.

Erweiterte Sitemap-Typen

Neben der Standard-XML-Sitemap bietet Google spezialisierte Formate: News-Sitemap für aktuelle Artikel (bei Praxis-Blogs mit täglichen Beiträgen relevant). Image-Sitemap für Bilder, die in der Google-Bildersuche erscheinen sollen — relevant für Vorher-Nachher-Bilder oder Praxisgalerien. Video-Sitemap für eingebettete Erklärvideos.

Für die meisten Praxiswebsites reicht die Standard-Sitemap. Image-Sitemap lohnt sich, wenn Bildersuche ein relevanter Traffic-Kanal ist — etwa bei ästhetischer Medizin oder Zahnästhetik.

Checkliste: Sitemap und robots.txt

• robots.txt im Root erreichbar und korrekt konfiguriert
• Keine versehentliche Blockierung wichtiger Seiten oder Ressourcen
• Sitemap-URL in robots.txt angegeben
• Alle indexierbaren URLs in der Sitemap (keine noindex-Seiten)
• HTTPS-URLs in der Sitemap
• Automatische Generierung bei jedem Build (z. B. @astrojs/sitemap)
• Sitemap in Google Search Console eingereicht
• lastmod nur bei echten Content-Änderungen aktualisieren
• Nach Relaunch: neue Sitemap, Weiterleitungen, Search Console aktualisieren

Fazit

Sitemap und robots.txt sind die einfachsten technischen SEO-Dateien — und gehören zu den am häufigsten fehlerhaft konfigurierten. Wer beide sauber einrichtet, stellt sicher, dass Google alle relevanten Praxisseiten findet, crawlt und indexiert. Bei Monoworks generieren und validieren wir Sitemap und robots.txt bei jedem Projekt automatisch — als Teil einer technischen SEO-Grundlage, die keine manuelle Nacharbeit nach dem Launch erfordert.