Pčela na tvom sajtu

Ko šalje ove zahtjeve

SEO Bee nije pretraživač i nema svoj server koji obilazi internet. Program se instalira na računar korisnika i obilazi sajt koji taj korisnik upiše. Zahtjevi zato dolaze s IP adrese korisnika, ne s naše. Najčešće je to vlasnik sajta ili agencija koja mu radi SEO.

Puni user agent po zadanom:

Mozilla/5.0 (compatible; seo-pauk/0.1; +https://seo-bee.de/bot/)

Šta pčela poštuje

• robots.txt, po zadanom. Pravila za seo-pauk imaju prednost, a ako ih nema, važe pravila za *.
• Odgovore 429 i 503 i zaglavlje Retry-After: pčela uspori ili stane.
• Zaštitu od botova: kad je dobije, pčela staje. Ne rješava CAPTCHA, ne mijenja IP adrese i ne glumi preglednik da bi prošla.

Kako je zaustaviti

Dodaj u robots.txt:

User-agent: seo-pauk
Disallow: /

Ili samo za dio sajta:

User-agent: seo-pauk
Disallow: /interno/

Šta ne možemo garantovati

Korisnik u postavkama može promijeniti user agent, na primjer da vidi šta sajt šalje Googlebotu. Tada ga gornja pravila ne prepoznaju po imenu. Može i isključiti robots.txt, ali tek kad potvrdi da je sajt njegov ili da ima dozvolu vlasnika. Ako pčela opterećuje tvoj server ili obilazi nešto što ne bi smjela, piši na abuse@seo-bee.de. Pošalji IP adresu, vrijeme i par redova iz loga.