Um unsere Website für Sie optimal gestalten zu können, verwenden wir Cookies und Dienste von Drittanbietern. Einige davon sind notwendig, um den Betrieb der Seite sicherzustellen (z.B. für den Warenkorb), andere erlauben es uns, unser Online-Angebot zu verbessern und wirtschaftlich zu betreiben. Sie können über die Einstellungen einfach festlegen, welche Art von Cookies und welche Dienste erlaubt sind. Weitere Details finden Sie in unserer Datenschutzerklärung.

Einstellungen

robots.txt zur Steuerung von Crawlern verwalten

Fragestellungen:

  • Wie kann ich Crawler verbieten oder erlauben?
  • Wieso kann ich keine SEO-Analysen auf meiner Seite durchführen?

Beschreibung:

Die Verwaltung der robots.txt-Datei in TYRIOS bietet dir die Möglichkeit, gezielt zu steuern, welche Web-Crawler auf deine Website zugreifen dürfen. Standardmäßig verfolgt TYRIOS dabei eine präventive Sicherheitsstrategie: alle Crawler, die nicht auf der Whitelist stehen, werden automatisch ausgeschlossen. Dadurch kannst du deine Website vor ungewolltem Datenverkehr und unerwünschten Zugriffen schützen und die Performance steigern. Falls du jedoch eine andere Strategie bevorzugst, lässt sich das Verhalten flexibel anpassen.

Nutzen für dich:

  • Sicherheit und Datenschutz: Schütze sensible Bereiche deiner Website vor unerwünschtem Zugriff und ungewollter Indexierung.
  • Optimierte Performance: Reduziere unnötigen Datenverkehr und entlaste deinen Server.
  • Flexibilität: Passe das Standardverhalten an deine individuellen Bedürfnisse an.

Warum TYRIOS standardmäßig auf Ausschluss setzt

Viele Crawler arbeiten ineffizient und belasten deine Website unnötig. Durch die automatische Ausschlussregel sorgt TYRIOS dafür, dass nur erwünschte und vertrauenswürdige Crawler (definiert durch die Whitelist) auf deine Website zugreifen dürfen. Diese Strategie schützt dich vor ungewolltem Datenverkehr und vermeidet, dass sensible Inhalte oder Seiten versehentlich indexiert werden.

Falls du jedoch spezifische Anforderungen hast, kann das Standardverhalten geändert werden, um auch alle nicht auf der Blacklist stehenden Crawler zuzulassen.

Vorgehen:

Crawler erlauben und verbieten

TYRIOS verwaltet eine spezielle Black- und Whitelist, mit der du Crawler sperren bzw. freischalten lassen kannst. Dabei initialisiert TYRIOS die wichtigsten Crawler automatisch auf der Whitelist. Du kannst die Liste aber jederzeit abändern.

  1. Gehe als Nutzer mit erweiterten Rechten in den Kundenbereich > System > Crawler verwalten

    Du bekommst alle derzeit definierten Crawler angezeigt. Ein Crawler wird dabei vom sogenannten "User-Agent" definiert. Das ist der Name des Crawlers, mit dem er sich selber identifiziert.

  2. Klicke auf "Neu", um einen neuen Crawler hinzuzufügen Screenshot des Editors zum Hinzufügen eines Crawlers auf dei robots.txt Whitelist
  3. Gib einen beliebigen Namen für den Crawler ein. Der User-Agent muss dem Namen des Crawlers entsprechen.
  4. Lege fest, ob der Crawler auf die Whitelist soll (erlaubt) oder ob er auf die  Blacklist soll (verboten).
  5. Klicke auf "Speichern". Die Einstellung wird sofort übernommen

Zum Löschen bzw. zum Bearbeiten eines bestehenden Eintrags klickst du im Zeilenmenü auf den entsprechenden Eintrag.

Standard-Verhalten ändern

TYRIOS blockiert standardmäßig unbekannte Crawler. Um dieses Standardverhalten zu ändern, gehst du wie folgt vor:

  1. Klicke als Benutzer mit erweiterten Rechten in den Kundenbereich > System > System-Konfiguration
  2. Wähle den Bereich "Robots.txt-Verwaltung"
  3. Wähle entwender Whitelist-Modus oder Blacklist-Modus

    Standardmäßig nutzt TYRIOS den Whitelist-Modus. Dadurch müssen Crawler explizit freigeschaltet werden.

  4. Durch den Wechsel auf den Backlist-Modus lässt du alle Crawler zu. Dadurch lässt du unbekannte Crawler zu, erlaubst aber auch Wettbewerbern deine Seite zu analysieren. Der Eintrag der robots.txt ist rechtlich für Crawler verbindlich und so kannst du steuern, wer Zugriff hat.
  5. Klicke auf Speichern

Tips und Tricks:

Wenn du deine Website mittels SEO-Tools analysieren möchtest, dann musst du deren Crawler auf die Whitelist setzen, da sie sonst blockiert wird. Hierbei ist die Crawler-Bezeichnung wichtig. Standardmäßig sind diese Crawler nicht zugelassen, um dich vor ungewünschter Wettbewerber-Analyse zu schützen.

Solltest du die Tools einsetzen wollen, so musst du diese in die Whitelist aufnehmen. Die User-Agents lauten dabei:

  • Semrush: SemrushBot
  • Sistrix: sistrix
  • Seobility: SeobilityBot

Abonnieren Sie unseren Newsletter

Bleiben Sie stets informiert. Wir informieren Sie gerne über Produktneuheiten und Angebote.

Mit dem Eintragen Ihrer E-Mail-Adresse bestätigen Sie, regelmäßig Angebote per Mail erhalten zu wollen. Diese Einwilligung zur Nutzung Ihrer E-Mail-Adresse können Sie jederzeit mit Wirkung für die Zukunft widerrufen .