GlancityBot
GlancityBot は、Glancity が公開されているイベント情報を読み取るためのプログラムです。これにより、アプリで各都市のイベントを表示できます。このページでは、何を読み取るか、どのくらいの頻度か、止める方法を説明します。
見分け方
すべてのリクエストに次のユーザーエージェントが付きます。
GlancityBot/1.0 (+https://glancity.com/bot; contato@glancity.com)robots.txt での名前は GlancityBot です。リクエストは Cloudflare のネットワークから送られるため、固定の IP アドレス一覧はありません。
読み取るもの
- 市役所、観光案内所、文化施設(Sesc や Mapas Culturais など)の公開サイトにあるイベント一覧とイベントページ。
- 公開ページだけです。ログインやフォームの入力は一切しません。
- Glancity で誰かが開いた都市だけです。
- 各イベントからは、一覧に必要な情報(名前、日時、場所、画像のアドレス)と元のページへのリンクだけを保存します。リンクはアプリで出典として表示されます。
また、各サービスの利用規則に従い、同じユーザーエージェントで公開サービスも使います:Wikipedia と Wikidata、OpenStreetMap(Nominatim、Photon、Overpass)、MET Norway。
動作のルール
- robots.txt(RFC 9309)に従います。
GlancityBotのグループ、なければ*のグループを使います。 - robots.txt がないサイトは読み取ることがあります。robots.txt を読めない場合(サーバーエラーやタイムアウト)は、そのサイトを一切読まず、60 分後に再試行します。
- robots.txt は少なくとも 24 時間ごとに読み直します。
- Crawl-delay は最大 10 秒まで守ります。
- 1 つのサイトには一度に 1 リクエストだけ、少なくとも 1 秒の間隔をあけます。
- リダイレクトは最大 5 回まで。新しいサイトに移るたびに、その robots.txt を確認します。
頻度
- 都市のイベントサイトは 1 日 1 回読み取ります。よく開かれる上位 5 都市(1 週間に 100 回以上)は 6 時間ごと、次の 15 都市(20 回以上)は 12 時間ごとです。
- 1 回の訪問でのリクエストは、その都市のすべてのサイトを合わせて最大 38 回です。1 サイトあたり一覧ページは最大 4 ページ、イベントページは最大 15 ページです。
- 都市の公式サイトを探すのは 30 日に 1 回です。
- イベントが一覧から消えた場合、そのページを再確認します(最大 12 時間に 1 回)。
- サイトの読み取りに失敗した場合は 1 時間後に再試行し、その後は失敗のたびに待ち時間を 2 倍にします。通常の頻度より多くなることはありません。
止める方法
サイトの robots.txt に次を追加してください。
User-agent: GlancityBot
Disallow: /GlancityBot は次に robots.txt を読むときに停止します(24 時間以内)。制限だけしたい場合は、一部のパスを禁止するか、Crawl-delay を設定してください。
イベントや画像の削除
イベントの主催者で、そのイベントまたは画像だけを Glancity から削除したい場合は、リンクを添えて contato@glancity.com までメールしてください。24 時間以内に削除します。
GlancityBot についてのその他のお問い合わせも同じアドレスへどうぞ。