GlancityBot
GlancityBot 是 Glancity 用来读取公开活动日程的程序,让应用能显示每座城市的活动。本页说明它读取什么、多久读取一次,以及如何阻止它。
如何识别
每个请求都带有以下用户代理:
GlancityBot/1.0 (+https://glancity.com/bot; contato@glancity.com)在 robots.txt 中的名称是 GlancityBot。请求来自 Cloudflare 的网络,因此没有固定的 IP 地址列表。
读取什么
- 市政府、旅游局和文化机构(例如 Sesc 和 Mapas Culturais)公开网站上的活动日程和活动页面。
- 只读公开页面:从不登录,也不填写表单。
- 只读有人在 Glancity 中打开过的城市。
- 每个活动只保存列出它所需的信息(名称、日期和时间、地点、图片地址)以及原始页面的链接,应用会将其显示为来源。
它也会按照各自的使用规则、以同一个用户代理使用公共服务:Wikipedia 和 Wikidata、OpenStreetMap(Nominatim、Photon、Overpass)以及 MET Norway。
行为规则
- 遵守 robots.txt(RFC 9309):使用
GlancityBot组,没有则使用*组。 - 网站没有 robots.txt 时,可以读取该网站。robots.txt 无法读取时(服务器错误或超时),不读取该网站的任何内容,60 分钟后再试。
- 至少每 24 小时重新读取一次 robots.txt。
- 遵守最多 10 秒的 Crawl-delay。
- 每个网站一次只发一个请求,间隔至少 1 秒。
- 最多跟随 5 次重定向,并检查每个新网站的 robots.txt。
读取频率
- 一座城市的活动网站每天读取一次。打开次数最多的 5 座城市(一周 100 次以上)每 6 小时一次,其后的 15 座(20 次以上)每 12 小时一次。
- 每次访问对该城市所有网站合计最多发出 38 个请求,每个网站最多读取 4 页日程和 15 个活动页面。
- 每 30 天查找一次城市的官方网站。
- 活动从日程中消失时,会重新检查其页面,最多每 12 小时一次。
- 网站读取失败时,1 小时后重试,之后每次等待时间加倍,但绝不比正常频率更频繁。
如何阻止
在你网站的 robots.txt 中加入:
User-agent: GlancityBot
Disallow: /GlancityBot 下次读取 robots.txt 时就会停止(24 小时内)。如果只想限制,可以禁止部分路径或设置 Crawl-delay。
删除活动或图片
如果你是活动主办方,希望从 Glancity 删除该活动或只删除其图片,请将链接发送至 contato@glancity.com。我们会在 24 小时内删除。
关于 GlancityBot 的其他问题,也请写信到同一地址。