Der Sammelroboter von Civiceye

Civiceye macht die Entscheide, Projekte und Finanzen der Schweizer Gemeinden leichter zugänglich. Die Informationen stammen von den offiziellen Websites der Gemeinden und werden von einem Roboter gesammelt, der sich so ausweist:

Civiceye/0.1 (+https://www.civiceye.ch/bot/; crawler@civiceye.ch)

Was er abruft

• Die öffentlichen Seiten der Gemeinden, auf denen die Vorlagen und Berichte aufgeführt sind, und die dort veröffentlichten Dokumente (PDF). Keine geschützten Seiten, keine Formulare, keine Anmeldung.
• Die Geodaten des Bundes von geo.admin.ch (amtliche Vermessung, Adressen, Ortsnamen), um die in den Dokumenten genannten Orte auf einer Karte zu verorten.
• Die Liste der Gemeinden des Bundesamts für Statistik und die offiziellen Websites der Gemeinden aus Wikidata: eine Anfrage an jede dieser beiden offenen Datenschnittstellen, die vom BFS auf data.geo.admin.ch veröffentlichten Gemeindegrenzen und seine Gemeindestatistiken auf stats.swiss (Bevölkerung, Wohnungen, Fahrzeuge…), für die Seite Alle Gemeinden und ihre Karte.
• Die Startseite jeder Gemeinde, ein einziges Mal, um zu erkennen, mit welchem System ihre Website gebaut ist und wo die Seiten des Parlaments oder der Gemeindeversammlung liegen: So wählt Civiceye die Gemeinden aus, die hinzukommen. Die Websites eines Hosting-Anbieters werden nacheinander abgerufen, nie gleichzeitig.

Wie er sich verhält

• Er beachtet die Datei robots.txt jeder Website, ausser in den unten beschriebenen Ausnahmen.
• Er stellt eine Anfrage nach der anderen, höchstens eine pro Sekunde; im Takt, den die robots.txt der Website verlangt, wenn sie einen angibt (Crawl-delay); und höchstens eine alle 10 Sekunden für das, was die robots.txt verbietet, in den unten beschriebenen Ausnahmen.
• Jedes Dokument wird nur einmal heruntergeladen und aufbewahrt. Bereits bekannte Dokumente werden nur etwa einmal im Monat geprüft, ältere Dokumente etwa einmal im Jahr, mit bedingten Anfragen (If-None-Match, If-Modified-Since): Ein unverändertes Dokument wird nicht erneut heruntergeladen. Wenn sich eine Seite der Gemeinde ändert, werden ihre Dokumente sofort geprüft.
• Die Sammlungen werden von Hand gestartet, Gemeinde für Gemeinde.

Ausnahmen von robots.txt

Die Regeln für alle Roboter (User-agent: *) werden in den folgenden Fällen nicht befolgt, jeweils aus einem bestimmten Grund. Auch dann werden Regeln, die Civiceye nennen, immer befolgt, und der Roboter hält an, sobald der Server eine Anfrage ablehnt (Codes 401, 403 oder 429): Er versucht es nicht weiter und ändert nie, wie er sich ausweist.

• Orbe (orbe.ch): Die Datei robots.txt verbietet allen Robotern den Ordner /images/, in dem alle amtlichen Dokumente liegen. Diese Dokumente sind öffentlich und urheberrechtlich nicht geschützt (Art. 5 URG). Der Roboter lädt sie so herunter, wie es eine Person tun würde: ein Dokument nach dem anderen, höchstens eines alle 10 Sekunden, jedes Dokument nur einmal. Wenn die Gemeinde dies nicht wünscht, genügt eine E-Mail an die unten stehende Adresse oder der Eintrag User-agent: Civiceye / Disallow: /images/: Die Sammlung wird gestoppt und die gesammelten Dokumente werden entfernt.
• Pohlern (pohlern.ch), Sigriswil (sigriswil.ch), Rheinwald (rheinwald.ch) und Le Locle (lelocle.ch): Ihre Datei robots.txt verbietet allen Robotern die ganze Website (Le Locle lässt nur Suchmaschinen zu). Der Roboter liest nur ihre Startseite, um zu erfahren, womit die Website gebaut ist, ein einziges Mal, 10 Sekunden nach robots.txt. Wenn die Gemeinde dies nicht wünscht, genügt eine E-Mail an die unten stehende Adresse oder der Eintrag User-agent: Civiceye / Disallow: /: Die Startseite wird nicht mehr gelesen und die aufbewahrte Kopie wird entfernt.
• Offene Datenschnittstellen des Bundesamts für Statistik (/api) und von Wikidata (/sparql): Ihre robots.txt hält Suchmaschinen fern, sie sind aber dafür veröffentlicht, von Programmen abgefragt zu werden. Eine Anfrage an jede, unter Einhaltung ihrer Wartezeit.

Was mit den Dokumenten geschieht

Die Dokumente werden unverändert archiviert. Ihr Text wird extrahiert (mit Texterkennung für gescannte Dokumente); Zusammenfassungen, Beträge und Orte werden automatisch daraus gewonnen und auf dieser Website veröffentlicht. Jedes Element gibt an, ob es wörtlich im Dokument gefunden wurde, und jede Seite verweist auf das Originaldokument auf der Website der Gemeinde.

Den Roboter sperren oder einschränken

Um ihn von einer Website ganz oder teilweise auszuschliessen, ergänzen Sie die Datei robots.txt:

User-agent: Civiceye
Disallow: /

Für Fragen, für eine Berichtigung oder Löschung, oder wenn der Roboter Ihrem Server Probleme bereitet, schreiben Sie an crawler@civiceye.ch.