GlancityBot

Chaque requête porte ce user agent :

GlancityBot/1.0 (+https://glancity.com/bot; contato@glancity.com)

Dans robots.txt, le nom est GlancityBot. Les requêtes partent du réseau de Cloudflare : il n'y a pas de liste fixe d'adresses IP.

• Les agendas et pages d'événements des sites publics de mairies, d'offices de tourisme et d'institutions culturelles (par exemple Sesc et Mapas Culturais).
• Uniquement des pages publiques : il ne se connecte jamais et ne remplit aucun formulaire.
• Uniquement les villes que quelqu'un ouvre dans Glancity.
• De chaque événement, il garde ce qu'il faut pour le lister (nom, date et heure, lieu, adresse de l'image) et le lien vers la page d'origine, que l'app affiche comme source.

Il utilise aussi des services publics selon leurs propres règles, avec le même user agent : Wikipédia et Wikidata, OpenStreetMap (Nominatim, Photon, Overpass) et MET Norway.

• Il suit robots.txt (RFC 9309) : le groupe GlancityBot, sinon le groupe *.
• Si un site n'a pas de robots.txt, il peut le lire. Si robots.txt est illisible (erreur du serveur ou délai dépassé), il ne lit rien sur ce site et réessaie 60 minutes plus tard.
• Il relit robots.txt au moins toutes les 24 heures.
• Il respecte Crawl-delay jusqu'à 10 secondes.
• Une requête à la fois par site, espacées d'au moins 1 seconde.
• Au plus 5 redirections, en vérifiant le robots.txt de chaque nouveau site.

• Les sites d'événements d'une ville sont lus une fois par jour. Les 5 villes les plus ouvertes (100 ouvertures ou plus en une semaine) toutes les 6 heures, les 15 suivantes (20 ou plus) toutes les 12 heures.
• Chaque visite fait au plus 38 requêtes pour l'ensemble des sites de la ville, et lit au plus 4 pages d'agenda et 15 pages d'événements par site.
• Les sites officiels d'une ville sont recherchés une fois tous les 30 jours.
• Quand un événement disparaît d'un agenda, sa page est vérifiée à nouveau, au plus toutes les 12 heures.
• Si un site échoue, il réessaie après 1 heure, puis attend deux fois plus longtemps à chaque fois, jamais plus souvent que le rythme normal.

Ajoutez ceci au robots.txt de votre site :

User-agent: GlancityBot
Disallow: /

GlancityBot s'arrête sous 24 heures, la prochaine fois qu'il lit robots.txt. Pour seulement le limiter, bloquez certains chemins ou définissez un Crawl-delay.

Si vous organisez un événement et voulez le retirer de Glancity, ou seulement son image, écrivez à contato@glancity.com avec le lien. Nous le retirons sous 24 heures.

Pour toute autre question sur GlancityBot, écrivez à la même adresse.