Die Biene auf Ihrer Website

Wer diese Anfragen sendet

SEO Bee ist keine Suchmaschine und hat keinen eigenen Server, der das Internet durchsucht. Das Programm wird auf dem Computer eines Nutzers installiert und crawlt die Website, die dieser Nutzer eingibt. Die Anfragen kommen deshalb von der IP-Adresse des Nutzers, nicht von unserer. Meist ist das der Inhaber der Website oder eine Agentur, die für ihn SEO macht.

Der vollständige User-Agent in der Standardeinstellung:

Mozilla/5.0 (compatible; seo-pauk/0.1; +https://seo-bee.de/bot/)

Was die Biene beachtet

• robots.txt, standardmäßig. Regeln für seo-pauk haben Vorrang; gibt es keine, gelten die Regeln für *.
• Die Antworten 429 und 503 und den Header Retry-After: Die Biene wird langsamer oder hält an.
• Bot-Schutz: Trifft die Biene darauf, hält sie an. Sie löst keine CAPTCHAs, wechselt keine IP-Adressen und gibt sich nicht als Browser aus, um durchzukommen.

So stoppen Sie die Biene

Ergänzen Sie in der robots.txt:

User-agent: seo-pauk
Disallow: /

Oder nur für einen Teil der Website:

User-agent: seo-pauk
Disallow: /intern/

Was wir nicht garantieren können

Der Nutzer kann in den Einstellungen den User-Agent ändern, zum Beispiel um zu sehen, was die Website dem Googlebot ausliefert. Dann erkennen die Regeln oben ihn nicht am Namen. Er kann robots.txt auch ausschalten, aber erst, nachdem er bestätigt hat, dass die Website ihm gehört oder dass er die Erlaubnis des Inhabers hat. Wenn die Biene Ihren Server belastet oder etwas crawlt, was sie nicht crawlen sollte, schreiben Sie an abuse@seo-bee.de. Senden Sie die IP-Adresse, die Uhrzeit und einige Zeilen aus dem Log.