Robots Exclusion Protocol soll Internet-Standard werden

Robots.txt-Parser als Open-Source-Projekt

| Autor / Redakteur: Thomas Joos / Stephan Augsten

Google möchte das Robots Exclusion Protocol REP zum offiziellen Web-Standard machen.
Google möchte das Robots Exclusion Protocol REP zum offiziellen Web-Standard machen. (Bild gemeinfrei: Rock'n Roll Monkey / Unsplash)

Google will sein Robots Exclusion Protocol zum Internetstandard heraufstufen und hat dazu bei der IETF einen RFC, sprich Request for Comments eingereicht. Außerdem wird der robots.txt-Parser in Zukunft quelloffen bereitgestellt.

Hintergrund des Robots Exclusion Protocol (REP) ist die Idee, dass Regeln für Webcrawler in einer separaten Datei auf einem Webserver gespeichert werden. Das REP wird oft auch als Robots-Exclusion-Standard bezeichnet – vielen ist es unter dem Namen der verwendeten Datei „robots.txt“ bekannt.

Nun möchte Google das Robots Exclusion Protocol (REP) zum offiziellen Internetstandard machen. Um das zu erreichen, wurde der Code des robots.txt-Parsers auf Github quelloffen bereitgestellt. Bei der Internet Engineering Task Force (IETF) wurde gleichzeitig ein RFC eingereicht, inklusive einer Dokumentation des Umgangs mit robots.txt .

Auf Github stellt Google auch ein Tool zur Verfügung, mit der sich eigene Robots.txt-Dateien testen lassen. Der Parser und die dazu gehörige C++ Bibliothek wird unter der Apache-Lizenz veröffentlicht. Zwar wird REP seit über 20 Jahren bereits auf vielen Webseiten eingesetzt, ist aber noch kein offizieller Standard. Techriesen wie Microsoft und Yahoo haben zusammen die robots-txt zum Standard deklariert, allerdings handelt es sich dabei nicht um einen offiziellen Internetstandard.

Im Rahmen der Standardisierung soll REP auch für FTP und das IoT-Protokoll CoAP genutzt werden. Außerdem müssen mindestens 512 Kilobytes von robots.txt geparst werden.

Kommentare werden geladen....

Kommentar zu diesem Artikel

Der Kommentar wird durch einen Redakteur geprüft und in Kürze freigeschaltet.

Anonym mitdiskutieren oder einloggen Anmelden

Avatar
Zur Wahrung unserer Interessen speichern wir zusätzlich zu den o.g. Informationen die IP-Adresse. Dies dient ausschließlich dem Zweck, dass Sie als Urheber des Kommentars identifiziert werden können. Rechtliche Grundlage ist die Wahrung berechtigter Interessen gem. Art 6 Abs 1 lit. f) DSGVO.
  1. Avatar
    Avatar
    Bearbeitet von am
    Bearbeitet von am
    1. Avatar
      Avatar
      Bearbeitet von am
      Bearbeitet von am

Kommentare werden geladen....

Kommentar melden

Melden Sie diesen Kommentar, wenn dieser nicht den Richtlinien entspricht.

Kommentar Freigeben

Der untenstehende Text wird an den Kommentator gesendet, falls dieser eine Email-hinterlegt hat.

Freigabe entfernen

Der untenstehende Text wird an den Kommentator gesendet, falls dieser eine Email-hinterlegt hat.

copyright

Dieser Beitrag ist urheberrechtlich geschützt. Sie wollen ihn für Ihre Zwecke verwenden? Infos finden Sie unter www.mycontentfactory.de (ID: 46012413 / Web Apps)