Crawl-Budget: wie viel eine Suchmaschine abruft

Was das Crawl-Budget ist

Das Crawl-Budget beschreibt, wie viele Seiten einer Website eine Suchmaschine in einem bestimmten Zeitraum abruft. Die Rechenleistung dafür ist begrenzt, deshalb verteilt eine Suchmaschine ihre Aufmerksamkeit. Wie viel eine Seite bekommt, hängt unter anderem davon ab, wie schnell der Server antwortet und wie oft sich Inhalte ändern.

Für die meisten Unternehmenswebsites ist das Thema entspannt. Bei 20 oder 50 Seiten wird das Budget praktisch nie zum Engpass. Relevant wird es bei großen Websites mit Tausenden von Adressen, etwa in Shops mit vielen Filterkombinationen.

Ein Beispiel

Ein Shop erzeugt für jede Kombination aus Farbe, Größe und Sortierung eine eigene Adresse. Aus 200 Produkten werden so Zehntausende Seiten, die inhaltlich fast identisch sind. Die Suchmaschine verbringt ihre Zeit mit diesen Varianten, während neue Produktseiten lange unbeachtet bleiben. Nach dem Ausschluss der Filtervarianten normalisiert sich das.

Warum das für Ihr Unternehmen zählt

Auch bei kleinen Websites lohnt ein Blick auf die Grundregeln, weil sie ohnehin zu einer sauberen Struktur führen. Wer sich an sie hält, muss über das Budget nie nachdenken.

• Keine unnötigen Adressvarianten erzeugen
• Schnelle Serverantworten erhöhen die Abrufrate
• Weiterleitungsketten und Fehlerseiten aufräumen
• Klare Verlinkung hilft, Wichtiges zuerst zu finden

Wo der Begriff bei uns auftaucht

In der Praxis begegnet Ihnen dieses Thema vor allem hier: Technische Optimierung. Wenn Sie unsicher sind, ob das für Ihre Website eine Rolle spielt, fragen Sie einfach nach.