Wie erkennt man, dass der Scanner blockiert wird?
Wenn der EmpCo Scanner Ihre Website nicht vollständig analysieren kann, erscheint eine Fehlermeldung wie „Diese Website blockiert automatische Zugriffe (HTTP 403)". Das bedeutet: Ihr Bot-Schutz — zum Beispiel Cloudflare, nginx Rate-Limiting oder eine WAF — hat den Scan abgewiesen.
Der EmpCo Scanner identifiziert sich mit einem eindeutigen User-Agent-String:
EmpCoBot/1.0 (+https://empco-scanner.de/bot)Dieser String ist Teil des vollständigen User-Agent-Headers:
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36 EmpCoBot/1.0 (+https://empco-scanner.de/bot)
Sie können gezielt den Substring EmpCoBot/1.0 whitelisten — das reicht in allen gängigen Systemen aus.
Die Freigabe für EmpCoBot betrifft ausschließlich lesende GET-Zugriffe auf öffentliche Seiten. Geschützte Bereiche, Login-Seiten und APIs werden vom Scanner nicht angesteuert und müssen nicht separat abgesichert werden.
Cloudflare — Schritt-für-Schritt
Cloudflare ist der häufigste Grund für blockierte Scans. Die WAF (Web Application Firewall) filtert Bot-Traffic standardmäßig aggressiv. Eine gezielte Allow-Regel löst das Problem ohne Sicherheitseinbußen:
- Melden Sie sich im Cloudflare Dashboard an und wählen Sie Ihre Domain.
- Navigieren Sie zu Security → WAF.
- Klicken Sie auf „Create Rule".
- Vergeben Sie den Rule Name: „EmpCoBot erlauben".
- Stellen Sie das Field auf „User Agent", den Operator auf „contains" und den Wert auf
EmpCoBot/1.0. - Setzen Sie die Action auf „Allow".
- Klicken Sie auf „Deploy".
Die Regel greift innerhalb von Sekunden. Ein erneuter Scan sollte danach ohne Fehlermeldung durchlaufen.
Falls Cloudflare's „Bot Fight Mode" aktiviert ist, kann er auch nach dem WAF-Allow greifen. Prüfen Sie unter Security → Bots, ob dort eine Ausnahme für EmpCoBot/1.0 nötig ist.
robots.txt — die einfachste Methode
Die robots.txt ist die unkomplizierteste Möglichkeit, dem EmpCoBot Erlaubnis zu erteilen. Fügen Sie folgende Zeilen in Ihre /robots.txt ein:
User-agent: EmpCoBot
Allow: /Die robots.txt ist ein freiwilliges Protokoll — sie signalisiert die Erlaubnis, verhindert aber keinen technischen Zugriff und umgeht keine Firewall-Regeln. Wenn Ihre Website HTTP 403 zurückgibt, müssen Sie zusätzlich eine WAF-Regel (z.B. Cloudflare) anlegen.
nginx und Apache
Wenn Sie einen eigenen Server betreiben und Rate-Limiting oder IP-Sperren für Bot-Traffic konfiguriert haben, können Sie den EmpCoBot dort gezielt ausschließen.
nginx
Fügen Sie in Ihren server- oder location-Block ein:
if ($http_user_agent ~* "EmpCoBot") {
set $limit_rate 0; # Rate-Limiting deaktivieren
}Oder, falls Sie generell Bot-Traffic blockieren und gezielt Ausnahmen erlauben möchten:
map $http_user_agent $block_bots {
default 1;
"~*EmpCoBot" 0;
}
if ($block_bots) {
return 403;
}Apache (.htaccess)
SetEnvIf User-Agent "EmpCoBot" empcobot_allowed
Order Deny,Allow
Deny from all
Allow from env=empcobot_allowedFalls Sie RewriteRule-basierte Sperren für Bot-Traffic verwenden, müssen Sie eine Ausnahme für EmpCoBot vor der Sperr-Regel einfügen. Reihenfolge ist entscheidend.
Nach der Freigabe
Sobald die Freigabe aktiv ist, können Sie Ihre Website erneut scannen:
- Rufen Sie empco-scanner.de/website-check auf.
- Geben Sie Ihre Domain erneut ein und starten Sie den Scan.
- Alle öffentlichen Seiten werden jetzt vollständig analysiert — ohne HTTP-403-Fehler.
Der Scanner analysiert ausschließlich öffentlich zugängliche HTML-Inhalte und folgt dabei Ihrer robots.txt. Seiten, die für Nutzer nicht sichtbar sind oder eine Authentifizierung erfordern, werden nicht erfasst.
Jetzt Website scannen
Finden Sie Greenwashing-Risiken auf Ihrer Website — kostenlos und ohne Account.
Jetzt scannen