GlancityBot
O GlancityBot é o programa que o Glancity usa para ler agendas públicas de eventos, para o app mostrar o que está rolando em cada cidade. Aqui você vê o que ele lê, com que frequência e como bloqueá-lo.
Como reconhecer
Toda requisição vem com este user agent:
GlancityBot/1.0 (+https://glancity.com/bot; contato@glancity.com)No robots.txt, o nome é GlancityBot. As requisições saem da rede da Cloudflare, então não existe uma lista fixa de IPs.
O que ele lê
- Agendas e páginas de eventos nos sites públicos de prefeituras, secretarias de turismo e instituições culturais (como o Sesc e o Mapas Culturais).
- Só páginas públicas: nunca faz login nem preenche formulários.
- Só cidades que alguém abriu no Glancity.
- De cada evento, guarda o necessário para listá-lo (nome, data e hora, local, endereço da imagem) e o link da página original, que o app mostra como fonte.
Ele também usa serviços públicos seguindo as regras de cada um, com o mesmo user agent: Wikipédia e Wikidata, OpenStreetMap (Nominatim, Photon, Overpass) e MET Norway.
Como ele se comporta
- Respeita o robots.txt (RFC 9309): vale o grupo
GlancityBot; se não houver, o grupo*. - Se o site não tem robots.txt, ele pode ler o site. Se o robots.txt não abre (erro no servidor ou demora demais), ele não lê nada ali e tenta de novo depois de 60 minutos.
- Lê o robots.txt de novo pelo menos a cada 24 horas.
- Respeita o Crawl-delay até 10 segundos.
- Uma requisição por vez em cada site, com pelo menos 1 segundo entre elas.
- Segue no máximo 5 redirecionamentos e confere o robots.txt de cada site novo.
Com que frequência
- Os sites de eventos de uma cidade são lidos uma vez por dia. As 5 cidades mais abertas (100 aberturas ou mais na semana), a cada 6 horas; as 15 seguintes (20 ou mais), a cada 12 horas.
- Cada visita faz no máximo 38 requisições somando todos os sites da cidade, e lê no máximo 4 páginas de agenda e 15 páginas de evento por site.
- A busca pelos sites oficiais de uma cidade acontece uma vez a cada 30 dias.
- Quando um evento some da agenda, a página dele é conferida de novo, no máximo a cada 12 horas.
- Se um site falha, ele tenta de novo depois de 1 hora e, a cada nova falha, espera o dobro, nunca com mais frequência que o normal.
Como bloquear
Coloque isto no robots.txt do seu site:
User-agent: GlancityBot
Disallow: /O GlancityBot para em até 24 horas, na próxima vez que ler o robots.txt. Se preferir só limitar, bloqueie alguns caminhos ou defina um Crawl-delay.
Tirar um evento ou uma imagem
Se você organiza um evento e quer tirá-lo do Glancity, ou só a imagem dele, mande o link para contato@glancity.com. Removemos em até 24 horas.
Para qualquer outro assunto sobre o GlancityBot, escreva para o mesmo endereço.