Crawl Budget optimieren: So crawlt Google deine wichtigsten Seiten

Google besucht deine Webseite nicht unbegrenzt oft. Jede Webseite bekommt ein bestimmtes Budget an Crawling-Ressourcen zugeteilt — das sogenannte Crawl Budget. Wenn dieses Budget für unwichtige Seiten verschwendet wird, findet Google deine wichtigsten Inhalte möglicherweise nicht oder nur mit großer Verzögerung. In diesem Artikel erfährst du, was das Crawl Budget ist, für wen es relevant ist und wie du es optimierst.

Was ist das Crawl Budget?

Das Crawl Budget beschreibt, wie viele Seiten deiner Webseite Google in einem bestimmten Zeitraum crawlt. Es ist keine feste Zahl, die du irgendwo einstellen kannst, sondern das Ergebnis aus zwei Faktoren: dem Crawl Rate Limit und der Crawl-Nachfrage (Crawl Demand).

Google muss Milliarden von Webseiten crawlen und hat dafür begrenzte Ressourcen. Deshalb verteilt der Googlebot seine Zeit und Kapazität intelligent auf alle Webseiten. Größere, wichtigere Seiten bekommen mehr Aufmerksamkeit, kleinere weniger.

Das Crawl Budget wird von Google nicht offiziell als einzelne Metrik kommuniziert. Es ist ein Konzept, das beschreibt, wie Google seine Crawling-Ressourcen auf deine Webseite verteilt.

Crawl Rate Limit vs. Crawl Demand

Um das Crawl Budget zu verstehen, musst du die beiden Komponenten kennen.

Crawl Rate Limit

Das Crawl Rate Limit begrenzt, wie schnell Google deine Webseite crawlt, ohne den Server zu überlasten. Wenn dein Server bei vielen gleichzeitigen Anfragen langsam wird oder Fehler liefert, reduziert Google automatisch die Crawling-Geschwindigkeit. Ein schneller, stabiler Server erlaubt Google, mehr Seiten pro Zeiteinheit zu crawlen.

Crawl Demand (Crawl-Nachfrage)

Crawl Demand beschreibt, wie sehr Google deine Seiten crawlen möchte. Seiten, die häufig aktualisiert werden, beliebter sind oder mehr Backlinks haben, werden häufiger gecrawlt. Seiten, die seit Jahren unverändert sind und kaum Traffic bekommen, werden seltener besucht.

Das Crawl Budget ergibt sich aus dem Zusammenspiel beider Faktoren: Google crawlt so viel, wie dein Server erlaubt und so viel, wie es für sinnvoll hält.

Für wen ist Crawl Budget relevant?

Nicht jede Webseite muss sich um das Crawl Budget sorgen. Es gibt aber klare Fälle, in denen die Optimierung wichtig wird.

Große Webseiten: Online-Shops mit Tausenden von Produkten, Nachrichtenportale mit täglichen neuen Artikeln oder Verzeichnisse mit Zehntausenden von Einträgen. Hier kann Google unmöglich alle Seiten bei jedem Besuch crawlen.

Webseiten mit vielen duplizierten URLs: Parameter-URLs, Session-IDs und Filterkombinationen können aus 1.000 echten Seiten schnell 100.000 URLs machen. Google verschwendet dann sein Budget für Duplikate.

Webseiten mit langsamen Servern: Wenn dein Server lange Antwortzeiten hat, reduziert Google die Crawling-Rate. Das bedeutet weniger Seiten pro Besuch.

Webseiten mit häufigen Änderungen: Wenn du täglich neue Inhalte veröffentlichst, ist es wichtig, dass Google diese schnell findet und indexiert.

So optimierst du dein Crawl Budget

Es gibt mehrere Maßnahmen, die du ergreifen kannst, um sicherzustellen, dass Google seine Ressourcen auf deine wichtigsten Seiten konzentriert.

Unwichtige Seiten vom Crawling ausschließen

Nutze die robots.txt, um Bereiche deiner Webseite vom Crawling auszuschließen, die Google nicht sehen muss. Typische Kandidaten sind:

• Admin-Bereiche und Login-Seiten
• Interne Suchseiten
• Warenkörbe und Checkout-Seiten
• Filter- und Sortierungsseiten mit Parameter-URLs
• Druckversionen von Seiten

Jede Seite, die Google nicht crawlen muss, spart Budget für deine wichtigen Inhalte.

Interne Verlinkung optimieren

Eine durchdachte interne Verlinkung hilft Google, deine wichtigsten Seiten schneller zu finden. Seiten, die von vielen anderen Seiten verlinkt werden, signalisieren Google höhere Wichtigkeit und werden häufiger gecrawlt.

Stelle sicher, dass deine wichtigsten Seiten maximal drei Klicks von der Startseite entfernt sind. Vermeide verwaiste Seiten — also Seiten, auf die kein einziger interner Link zeigt. Denn wie Google deine Webseite durchsucht, hängt direkt mit der Frage zusammen, wie die Google-Suche funktioniert.

XML-Sitemap aktuell halten

Deine XML-Sitemap ist eine direkte Kommunikation mit Google darüber, welche Seiten du für wichtig hältst. Halte sie aktuell und entferne Seiten, die nicht indexiert werden sollen.

JavaScript-lastige Seiten können das Crawl-Budget belasten, da Google sie in einem zweiten Schritt rendern muss. Hier erklären wir JavaScript SEO Probleme.

Mit dem Noindex-Tag kannst du unwichtige Seiten von der Indexierung ausschließen und so dein Crawl-Budget schonen.

Auch die Paginierung kann das Crawl-Budget belasten, wenn sie nicht richtig implementiert ist.

Eine gute Sitemap enthält nur kanonische, indexierbare URLs. Keine Redirects, keine Noindex-Seiten, keine Fehlerseiten. Je sauberer deine Sitemap, desto effizienter nutzt Google sein Crawl Budget.

Server-Antwortzeiten verbessern

Je schneller dein Server antwortet, desto mehr Seiten kann Google pro Besuch crawlen. Optimiere deine Server-Performance:

• Verwende Caching für statische Inhalte
• Nutze ein Content Delivery Network (CDN)
• Optimiere Datenbankabfragen
• Wähle einen leistungsfähigen Hosting-Anbieter
• Halte die Time to First Byte (TTFB) unter 200 Millisekunden

Eine langsame Serverantwort ist einer der häufigsten Gründe für ein schlechtes Crawl Budget. Wenn Google für jede Seite eine Sekunde warten muss, crawlt es in einer Minute nur 60 Seiten statt möglicherweise mehrerer Hundert.

Parameter-URLs vermeiden

URL-Parameter sind einer der größten Crawl-Budget-Killer. Eine einzige Produktkategorie mit Filtern für Farbe, Größe, Preis und Sortierung kann Hunderte von URL-Varianten erzeugen — alle mit dem gleichen oder sehr ähnlichem Inhalt.

Setze Canonical Tags auf die parameterfreie Hauptversion der URL. Blockiere unnötige Parameter-Pfade in der robots.txt. Verwende wenn möglich URL-Pfade statt Parameter für wichtige Filterseiten.

Weiterleitungsketten aufräumen

Wenn eine URL auf eine zweite URL weiterleitet, die auf eine dritte URL weiterleitet, muss Google jede einzelne Station besuchen. Das verschwendet Crawl Budget. Sorge dafür, dass Redirects immer direkt zum endgültigen Ziel führen — ohne Zwischenstationen.

HTTP-Fehler beheben

Seiten, die 404- oder 500-Fehler zurückgeben, verschwenden Crawl Budget. Google versucht regelmäßig, diese URLs erneut zu besuchen. Behebe Fehler, entferne die Links zu nicht existierenden Seiten und leite alte URLs per 301-Redirect auf passende Alternativen um.

Crawl-Statistiken in der Google Search Console

Die Google Search Console bietet unter „Einstellungen" → „Crawling-Statistiken" wertvolle Einblicke in das Crawling-Verhalten des Googlebots auf deiner Webseite.

Hier siehst du:

• Gesamtzahl der Crawling-Anfragen pro Tag
• Durchschnittliche Antwortzeit deines Servers
• Downloadgröße der gecrawlten Seiten
• Antwortcodes (200, 301, 404, 500 usw.)

Überwache diese Daten regelmäßig. Ein plötzlicher Rückgang der Crawling-Anfragen kann auf Serverprobleme hindeuten. Ein hoher Anteil von 404-Fehlern zeigt, dass Google Budget für nicht existierende Seiten verschwendet.

Crawl Budget und neue Inhalte

Wenn du neue Seiten veröffentlichst und möchtest, dass Google sie schnell findet, helfen diese Maßnahmen:

• Füge die neue URL zur XML-Sitemap hinzu
• Setze interne Links von bestehenden Seiten auf die neue Seite
• Nutze die URL-Prüfung in der Search Console und fordere die Indexierung an
• Teile die URL in sozialen Medien — der Googlebot folgt Links von großen Plattformen

Je besser dein allgemeines Crawl Budget optimiert ist, desto schneller entdeckt Google neue Inhalte automatisch.

Fazit

Das Crawl Budget bestimmt, wie effizient Google deine Webseite durchsucht. Für kleine Webseiten ist es selten ein Problem, für große Webseiten kann es über Erfolg und Misserfolg entscheiden. Die wichtigsten Hebel sind: unwichtige Seiten vom Crawling ausschließen, die interne Verlinkung optimieren, die XML-Sitemap sauber halten, Server-Antwortzeiten minimieren und Parameter-URLs unter Kontrolle bringen. Nutze die Crawling-Statistiken der Google Search Console, um das Verhalten des Googlebots zu überwachen. Ein kostenloser SEO-Check hilft dir, technische Probleme zu identifizieren, die dein Crawl Budget verschwenden.