Il robot di raccolta di Civiceye
Civiceye rende più facili da consultare le decisioni, i progetti e le finanze dei Comuni svizzeri. Le informazioni provengono dai siti ufficiali dei Comuni e sono raccolte da un robot che si identifica così:
Civiceye/0.1 (+https://www.civiceye.ch/bot/; crawler@civiceye.ch)Che cosa consulta
- Le pagine pubbliche dei Comuni che elencano i messaggi e i rapporti, e i documenti che vi sono pubblicati (PDF). Nessuna pagina protetta, nessun modulo, nessun accesso con credenziali.
- I dati geografici federali di geo.admin.ch (misurazione ufficiale, indirizzi, nomi di luogo), per situare su una mappa i luoghi citati nei documenti.
- L'elenco dei Comuni dell'Ufficio federale di statistica e i siti ufficiali dei Comuni registrati in Wikidata: una richiesta a ciascuna di queste due interfacce di dati aperti, i confini dei Comuni pubblicati dall'UST su data.geo.admin.ch e le sue statistiche comunali su stats.swiss (popolazione, abitazioni, veicoli…), per la pagina Tutti i Comuni e la sua mappa.
- La pagina iniziale di ogni Comune, una sola volta, per sapere con quale sistema è fatto il suo sito e dove si trovano le pagine del Consiglio comunale: così Civiceye sceglie i Comuni da aggiungere. I siti di uno stesso fornitore di hosting sono consultati uno dopo l'altro.
Come si comporta
- Rispetta il file
robots.txtdi ogni sito, salvo le eccezioni descritte più sotto. - Fa una richiesta alla volta, al massimo una al secondo; al ritmo chiesto dal
robots.txtdel sito se ne indica uno (Crawl-delay); e al massimo una ogni 10 secondi per ciò che ilrobots.txtvieta, nelle eccezioni descritte più sotto. - Ogni documento è scaricato una sola volta e conservato. I documenti già noti sono verificati solo circa una volta al mese, quelli vecchi circa una volta all'anno, con richieste condizionali (
If-None-Match,If-Modified-Since): un documento invariato non è scaricato di nuovo. Quando una pagina del Comune cambia, i suoi documenti sono verificati subito. - Le raccolte sono avviate a mano, Comune per Comune.
Eccezioni a robots.txt
Le regole scritte per tutti i robot (User-agent: *) non sono seguite nei casi seguenti, ognuno per un motivo preciso. Anche allora, le regole che nominano Civiceye sono sempre seguite, e il robot si ferma non appena il server rifiuta una richiesta (codici 401, 403 o 429): non insiste e non cambia mai il modo in cui si identifica.
- Orbe (orbe.ch): il file
robots.txtvieta a tutti i robot la cartella/images/, dove si trovano tutti i documenti ufficiali. Questi documenti sono pubblici e non sono protetti dal diritto d'autore (art. 5 LDA). Il robot li scarica come farebbe una persona: un documento alla volta, al massimo uno ogni 10 secondi, ogni documento una sola volta. Se il Comune vi si oppone, basta scrivere all'indirizzo qui sotto o aggiungereUser-agent: Civiceye/Disallow: /images/: la raccolta si ferma e i documenti raccolti sono rimossi. - Pohlern (pohlern.ch), Sigriswil (sigriswil.ch), Rheinwald (rheinwald.ch) e Le Locle (lelocle.ch): il loro file
robots.txtvieta l'intero sito a tutti i robot (Le Locle ammette solo i motori di ricerca). Il robot legge solo la loro pagina iniziale, per sapere con che cosa è fatto il sito, una sola volta, 10 secondi doporobots.txt. Se il Comune vi si oppone, basta scrivere all'indirizzo qui sotto o aggiungereUser-agent: Civiceye/Disallow: /: la pagina iniziale non è più letta e la copia conservata è rimossa. - Interfacce di dati aperti dell'Ufficio federale di statistica (
/api) e di Wikidata (/sparql): il lororobots.txtne tiene lontani i motori di ricerca, ma sono pubblicate per essere interrogate da programmi. Una richiesta a ciascuna, rispettando il loro intervallo.
Che cosa diventano i documenti
I documenti sono archiviati così come sono. Il loro testo è estratto (con un riconoscimento dei caratteri per i documenti scansionati); riassunti, importi e luoghi ne sono tratti automaticamente, poi pubblicati su questo sito. Ogni elemento indica se è stato ritrovato parola per parola nel documento, e ogni pagina rimanda al documento originale sul sito del Comune.
Bloccare o limitare il robot
Per escluderlo da tutto o da una parte di un sito, aggiungete al file robots.txt:
User-agent: Civiceye
Disallow: /Per qualsiasi domanda, una richiesta di rettifica o di rimozione, o se il robot crea problemi al vostro server, scrivete a crawler@civiceye.ch.