Kein Bock auf KI! So blockierst du KI-Bots in deinem WordPress-Blog

Nach letzten Schätzungen fallen über 50 Prozent des gesamten Traffics im Internet auf Bots zurück. Verrückt, nicht wahr? Du musst dir das mal vorstellen. Mehr als die Hälfte deiner Besucher sind gar keine echten Menschen, sondern nur irgendwelche automatisierten Zugriffe, die deine Website scannen, die Inhalte unter Umständen kopieren und für eigene Zwecke weiterverwerten. Das willst du bestimmt nicht! Zeit, dem Ganzen einen Riegel vorzuschieben.

📢 Die Hälfte deiner Besucher sind keine echten Menschen. Über 50 % des Internet-Traffics entfallen auf Bots.

In meinem heutigen Beitrag werde ich dir zeigen, wie du Bots, vorwiegend natürlich die aktuell so aggressiven KI-Bots, vollumfänglich von deiner Website ausperren kannst. Das ist gar nicht so kompliziert, wie es zunächst klingt. Am besten ist, wir fangen sofort an.

Warum Bots grundsätzlich ein Problem sind

Prinzipiell sind Bots nichts Schlechtes. Google schickt etwa den eigenen Bot auf deine Website, um diese zu lesen und zu verstehen, was dort zu finden ist. Dadurch, dass der Google-Bot deine Website besucht, wirst du bei Google entsprechend gelistet und von anderen Besuchern überhaupt erst gefunden und wahrgenommen. Ohne Bot gäbe es kein Google-Ranking. Bots sind also notwendig und sinnvoll. Wenn sie denn gutartig sind.

Anders sieht die Sache nämlich mit bösartigen Bots aus. Es gibt unzählige davon. Einige stehlen deine Inhalte, andere scannen die gesamte Website nach Sicherheitslücken oder suchen nach PHP-Dateien, die öffentlich zugänglich sind. Häufig nach typischen WordPress-Verzeichnissen und -Dateien, in der Hoffnung, dass diese ungesichert auf dem Server herumliegen.

Während die guten Bots sehr gezielt vorbeischauen, Crawl-Budgets einhalten und auch auf deine robots.txt achten, bestimmte Verzeichnisse also überspringen, wenn du das möchtest, sieht die Sache bei den bösartigen Bots ganz anders aus. Diese scannen meist alles, was sie finden können, was wiederum dazu führt, dass dein Server all diese Anfragen auch beantworten muss. Und das sorgt im Großen und Ganzen dafür, dass echte Besucher mit schlechter Performance leben müssen, weil KI-Bots ihnen die Leistung stehlen. Doch was kannst du als Websitebetreiber dagegen tun?

Bösartige Bots blockieren

	Gutartige Bots (z.B. Google-Bot)	Bösartige Bots
Beispiele	Google, OpenAI	Bot aus China oder Russland
Ziel	Indexierung, Ranking, Verständnis der Inhalte.	Content-Diebstahl, Scannen nach Sicherheitslücken, Ressourcen-Missbrauch.
Verhalten	Respektieren robots.txt und Crawl-Budgets.	Ignorieren robots.txt, scannen oft aggressiv und massiv.
Auswirkung auf Server	Gezielter, geringer Ressourcenverbrauch.	Hoher Ressourcenverbrauch, schlechte Performance für echte Besucher.
Notwendigkeit	Sinnvoll und notwendig für die Sichtbarkeit.	Schädlich und unerwünscht, müssen blockiert werden.

In einer perfekten Welt würden alle Bots auf die von dir erstellte robots.txt achten und diese dementsprechend respektieren. Bots, die dort ausgesperrt werden würden, hätten somit gar keinen Zugriff mehr auf deine Website. Damit wären diejenigen, die zu viele Ressourcen verbrauchen, ausgesperrt. Alle Probleme, die solche Bots verursachen, würden sich in Luft auflösen.

In der Realität wird die robots.txt in der Regel jedoch gänzlich ignoriert, weshalb es drastischere Maßnahmen benötigt, um KI-Bots erfolgreich auszusperren. Entweder eine Web Application Firewall oder eine .htaccess, die so konfiguriert ist, dass sie die User-Agents der KI-Bots ganz direkt blockiert. Aber fangen wir erst einmal mit der robots.txt an, die eigentlich genau dafür gedacht war, nur eben viel zu oft ignoriert wird.

Robots.txt

Auch wenn die robots.txt, wie eben erwähnt, häufig ignoriert wird, schadet es nicht, sie entsprechend zu nutzen. Dieser Eintrag verbietet ChatGPT etwa das Scannen deiner Website. Gutartige Bots beachten die robots.txt, sodass sie überaus hilfreich sein kann.

User-agent: GPTBot
Disallow: /

💡 Tipp: Server-Level-Blockierung ist der Schlüssel!
Obwohl die robots.txt nützlich ist, um gutartige Bots zu instruieren, wird sie von aggressiven KI-Bots meist ignoriert. Die effektivste und ressourcenschonendste Blockierung erfolgt auf Server-Ebene (z.B. via .htaccess oder WAF), bevor die Anfrage an WordPress geht.

.htaccess (meine Empfehlung)

Besonders effektiv und einfach einzurichten ist ein Bot-Schutz via .htaccess-Datei. Diese liegt im Hauptverzeichnis deines WordPress Blogs und wird einfach mit den folgenden Einträgen ergänzt. Auf diese Weise werden die Bots über den User-Agent blockiert und abgewiesen, bevor sie deine Website scannen können. Das ist ziemlich effektiv und schnell umzusetzen.

<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (GPTBot|Gemini) [NC]
RewriteRule ^ - [F,L]
</IfModule>

Die beste und vollständigste Liste diesbezüglich ist beim WordPress-Entwickler Jeff Starr zu finden. Der aktualisiert seine Liste übrigens auch regelmäßig und ermöglicht so eine weitgehend vollständige Blockierung aller KI-Bots mittels .htaccess, was absolut empfehlenswert ist.

Web Application Firewall (WAF)

Eine Web Application Firewall (WAF) hilft ebenfalls dabei, verdächtigen Traffic zu blockieren. Cloudflare erkennt auf diese Weise sogar, wenn Bots sich bösartig oder aggressiv verhalten. Diese lassen sich dann einfach per Klick blockieren. Inzwischen gibt es dort auch eine Funktion, um gezielt KI‑Bots auszusperren. Ähnliches machen Bunny Shield oder auch die Amazon WAF. Welche Web Application Firewall genau zum Einsatz kommt, ist also eher zweitrangig. Bots blockieren können sie normalerweise alle.

WordPress-Plugins

Grundsätzlich ergibt es Sinn, KI‑Bots schon auf Serverebene oder davor zu blockieren, also nicht erst in WordPress. Es gibt aber auch viele Firewalls und WordPress-Plugins, die bösartige Anfragen und KI-Bots blockieren, um Systemressourcen freizugeben. Blackhole for Bad Bots beispielsweise oder auch Sucuri, Wordfence sowie andere Firewall-Plugins für WordPress. Auch diese ermöglichen in der Regel die Blockierung von KI-Bots. Dennoch ist es meist effektiver, schon vor WordPress anzusetzen.

KI-Bots zu blockieren ist ziemlich schwierig

Bots zu blockieren war noch nie einfach. Die meisten tun erst einmal so, als wären sie einer von den Guten, und andere geben sich als etwas ganz anderes aus. Nur genaues Beobachten hilft dabei, die bösartigen unter ihnen zu finden und durch Monitoring dann gezielt auszusperren.

Auch User-Agents zu blockieren, ergibt Sinn. KI-Bots, die sich als solche ausgeben, können dann ganz einfach via .htaccess blockiert werden. Das entlastet den Server bereits spürbar und hilft somit deinen echten Besuchern, die deinen WordPress-Blog fortan viel schneller erreichen können.

Firewalls hingegen versuchen, die Sache intelligent anzugehen. Sind KI-Bots zu aggressiv, verirren sich in gesperrte Bereiche oder kommen sie zu oft, kann eine Firewall dies intelligent erkennen und sie daraufhin blockieren. Auch wenn sie sich tarnen, werden sie auf diese Weise als bösartig erkannt. Das funktioniert oft erstaunlich gut und sorgt ebenfalls dafür, dass wichtige Ressourcen wieder für echte Nutzer freigegeben werden.

Nicht jeder Bot ist auch ein böser Bot

Natürlich stellt sich die Frage, ob KI‑Bots wirklich vollumfänglich blockiert werden sollten. Was ist mit den Guten unter ihnen? Was ist, wenn ChatGPT die eigene Website nicht mehr findet und auch Google Gemini nicht? Werden meine Inhalte dann auch nicht mehr von der KI verlinkt und dort entsprechend empfohlen?

Auch muss nicht zwangsläufig jeder KI-Bot geblockt werden. Oft ergibt es Sinn, sich via Monitoring vielmehr diejenigen herauszusuchen, die die robots.txt nicht befolgen oder zu aggressiv und somit häufig scannen. Während KI-Bots, die wichtig sind oder besonders fair agieren, durchaus erlaubt sein dürfen.

So handhabe ich es auch selbst. Natürlich lasse ich ChatGPT und Google Gemini zu, da ich dort auch gelistet werden möchte.

Aber nicht jeder KI-Bot aus China muss alle paar Minuten meine gesamte Website scannen. So etwas unterbinde ich selbstverständlich, sobald ich es bemerke. Das gilt übrigens nicht nur bei KI‑Bots, sondern auch bei aggressiven oder unseriösen Suchmaschinen und Crawlern im Allgemeinen, die einfach nur Content stehlen. Wer seinen Traffic analysiert, wird schnell weitaus mehr bösartige Bots entlarven, die es auszusperren gilt, nicht nur KI-Bots.

Mein Fazit zum Thema KI-Bot-Blockierung

KI‑Bots zu blockieren gelingt nie perfekt. Es wird immer False Positives geben, also echte Nutzer, die durch die Konfiguration ebenfalls ausgesperrt werden. Das lässt sich bei Firewalls nie ganz vermeiden. Je strenger die Regeln ausfallen, desto mehr Zugriffe werden infolgedessen auch gesperrt.

Abgesehen davon ergibt es schon Sinn, schädliche oder ungewollte Zugriffe gänzlich zu blockieren. Wer sich die Serverleistung dann nämlich mal genauer ansieht, wird feststellen, dass ohne diese Bots deutlich weniger Ressourcen verbraucht werden. Viele könnten sogar auf ein kleineres Webspace-Paket wechseln, wenn da nicht die vielen automatisierten Zugriffe wären.

Meine Empfehlung ist daher auch, diese Zugriffe nach Möglichkeit zu unterbinden. Es hat viele Vorteile und geht noch dazu kinderleicht. Gerade in Zeiten von KI‑Bots ist Handeln gefragt, denn diese sind überaus aggressiv und nehmen mit, was immer sie gerade finden können. Man muss da nicht mitmachen!