KI-Crawler prägen den Bot-Verkehr: Cloudflare zählt 52 Prozent aller Crawler-Anfragen im Juni 2026 als Abrufe für KI-Training

Wofür KI-Crawler die Seiten heute auslesen

Der Zweck der Abrufe hat sich innerhalb eines Jahres umgekehrt. Laut Cloudflare entfielen im Juni 2026 rund 52 Prozent aller Crawler-Anfragen auf das Training von KI-Modellen, im Frühjahr 2025 waren es 22 Prozent. Reines Suchmaschinen-Crawling macht nach Angaben des Unternehmens nur noch einen kleinen und weiter sinkenden Anteil aus.

Problematisch für Seitenbetreiber sind vor allem gemischt genutzte KI-Crawler. Über ein Drittel des Crawler-Verkehrs im Netz von Cloudflare stammt von Bots, die Suche, Training und agentische Nutzung nicht trennen. Wer sie aussperrt, verliert zugleich Sichtbarkeit in der klassischen Suche.

Welche Zahlen der Netzwerkbetreiber für den Bot-Verkehr nennt

Vier Kennzahlen aus dem Bericht umreißen die Lage:

• Anteil nicht-menschlichen Datenverkehrs im Internet: erstmals über 50 Prozent.
• Anteil der Crawler-Anfragen für KI-Training im Juni 2026: 52 Prozent, nach 22 Prozent im Frühjahr 2025.
• Anteil gemischt genutzter Crawler am Abrufaufkommen: über 36 Prozent.
• Rückgang menschlicher Besuche in besonders stark ausgelesenen Themenfeldern: bis zu 40 Prozent binnen eines Jahres.

Cloudflare beziffert die eigene Sichtweite mit über 20 Prozent des Webs, das über sein Netz ausgeliefert wird. Die Zahlen stammen nach Angaben des Unternehmens aus der Auswertungsplattform Cloudflare Radar.

Warum robots.txt allein die Serverlast nicht mehr steuert

Die Datei robots.txt bleibt eine freiwillige Absprache. Cloudflare bezeichnet Kontrollen auf Netzwerkebene deshalb als wirksameres Mittel als freiwillige Standards und begründet das damit, dass erst eine durchsetzbare Zugriffsregel Betreibern belastbare Nachweise über Abrufe liefert. Zugleich verweist das Unternehmen darauf, dass wahlloses Auslesen unnötige Bandbreite auf Seiten der Anbieter bindet.

Für Seitenbetreiber entsteht daraus eine doppelte Aufgabe: Zugriffe zu steuern und die eigenen Inhalte für diejenigen Besucher direkt nutzbar zu machen, die noch kommen. Eine Wissensbasis aus der eigenen Website ist dafür der Ansatz, Antworten unmittelbar auf der Seite auszuspielen, statt auf einen Rückverweis aus einer externen Antwort zu warten.

„Ein Betreiber kann heute nicht mehr davon ausgehen, dass Sichtbarkeit und Besuch dasselbe sind. Wer beides trennt, misst zuerst, wer wirklich noch auf die Seite kommt, und richtet die Inhalte danach aus“, sagt Alexander Weipprecht, Geschäftsführer der Provimedia GmbH.

Im August 2026 ist die Auswertung damit weniger eine Frage der Rangliste als eine der Protokolldateien. Wer nicht weiß, welcher Anteil der Zugriffe automatisiert erfolgt, kann weder Kapazität noch Reichweite realistisch planen.