Crawl-Einstellungen

Die Standardeinstellungen passen für die meisten Websites. Dieses Kapitel ist für die Fälle, in denen sie nicht passen: eine große Website, ein langsamer Server, Inhalte, die per JavaScript entstehen, oder ein Bereich hinter einem Login.

Limits und Geschwindigkeit

• Tiefe: wie viele Klicks von der Startseite aus der Crawler geht. 0 heißt ohne Begrenzung.
• Max. URLs: nützlich, wenn Sie schnell eine Stichprobe einer großen Website wollen.
• Geschwindigkeit: Zahl gleichzeitiger Anfragen und höchstens so viele URLs pro Sekunde. Bei fremden oder kleinen Servern halten Sie sie niedrig.
• Antwort-Timeout: nach wie vielen Sekunden eine Anfrage als Keine Antwort zählt.

robots.txt und Sitemaps

Der Crawler beachtet die robots.txt wie der Googlebot und meldet blockierte Adressen im Tab Statuscodes unter dem Filter Intern: durch robots.txt blockiert. Aktivieren Sie XML-Sitemaps lesen, damit der Crawler die Sitemaps aus der robots.txt oder unter /sitemap.xml liest. Ohne diese Option gibt es keinen Filter für verwaiste Seiten. Mit Lizenz haben Sie außerdem ein Tool, mit dem Sie Ihre eigene robots.txt testen, bevor sie auf den Server kommt.

JavaScript-Rendering

Standardmäßig liest der Crawler das HTML so, wie der Server es schickt. Das ist am schnellsten und reicht für Websites, deren Inhalt nicht per JavaScript entsteht. Für React, Vue und ähnliche Websites aktivieren Sie das JavaScript-Rendering: Jede Seite wird im eingebauten Chromium geöffnet, und der Crawler liest sie erst, wenn die Skripte gelaufen sind.

• Auf späte Inhalte warten: wie viele Sekunden der Crawler auf Inhalte wartet, die nachgeladen werden.
• Browser gleichzeitig: mehr ist schneller, braucht aber mehr Arbeitsspeicher.

Der Tab JavaScript zeigt dann den Unterschied in der Wortzahl vor und nach JS sowie Fehler aus der Konsole.

URLs ein- und ausschließen

Regex-Regeln, eine pro Zeile. Nur passende URLs crawlen beschränkt den Crawler z. B. auf ^/(blog|vijesti)/. Ausschlussregeln lassen Filter, Tracking-Parameter oder ganze Ordner weg. Jede Regel testen Sie vor dem Start an einer einzelnen Adresse.

Das Umschreiben von URLs entfernt Parameter oder ändert einen Teil der Adresse vor dem Crawl, z. B. /stari-shop/ => /shop/.

Anmeldung auf der Website

Für Staging oder Inhalte hinter einem Login legen Sie in den Einstellungen unter Website-Anmeldungen eine Anmeldung an: Basic Auth oder ein Login-Formular. Nutzen Sie nur Testkonten. Der Crawler klickt Links an und könnte mit einem echten Admin-Konto auch Links zum Löschen öffnen.

Einstellungsprofile

Speichern Sie Ihre Einstellungen als Profil, z. B. „Shop mit JS“ oder „Schnelle Stichprobe 1.000 URLs“, und nutzen Sie es für neue Crawls, Zeitpläne und die Kommandozeile.

Weiter: Tabs und Filter.