AIライフライン AI Lifeline

Crawler policy

🤖 クローラーポリシー — 当社が巡回する側としての説明

AIライフラインは、観測のために他サイトへ自動アクセスします。 何を、どれくらいの頻度で、どう名乗って取りに行っているかをここに全部書きます。 苦情や除外のご依頼は、経由するCDN事業者ではなく当社へ直接お寄せください。

連絡先（除外のご依頼・苦情）

・投書口（https://ai-lifeline.org/jp/tousho/）からご連絡ください。
・巡回対象から外してほしいというご依頼は、理由を問わず受け付けます。 お申し出のあったドメインは対象から外し、外した事実を記録として残します（どこを外したかは公表しません）。
・発行：株式会社パソコン先生（発行人・末永雅洋）。運営者情報は運営者・編集方針をご覧ください。

1. robots.txt の月次観測

  • ・User-Agent：ai-lifeline-robots-watch/0.1 (+https://ai-lifeline.org/jp/crawler/; monthly robots.txt observation)
  • ・取得するもの：各サイトの /robots.txt のみです。記事本文・画像・その他のページは一切取得しません
  • ・対象数：国内主要 26サイト（報道・出版/雑誌・プラットフォーム・知識・EC・行政）
  • ・頻度：月1回。1サイトにつき1リクエスト、リクエスト間隔は最低300ミリ秒、タイムアウト20秒
  • ・robots.txt の尊重：当社のUser-Agentを拒否する記述があるサイトは巡回しません
  • ・403やBot保護を受けた場合：回避しません。User-Agentを変えた再取得も、時間を空けた再試行も行いません。「確認できず」として記録するだけです
  • ・何のために：AIクローラーがどれだけ拒否されているかを数えるためです。掲載しているのは件数と比率で、robots.txt の中身を転載することはありません

2. 公表価格の週次観測

  • ・User-Agent：ai-lifeline-collector/0.1 (+https://ai-lifeline.org/jp/crawler/; weekly public-price watch; 1req/week)
  • ・取得するもの：台帳に列挙した公式料金ページだけです。ページ内を辿ったり、他のページへ広げたりはしません
  • ・対象数：GPU時間単価 2ページ、推論トークン単価 4ページ（合計6ページ）
  • ・頻度：週1回以下。1ページにつき1リクエスト、リクエスト間隔は最低500ミリ秒
  • ・robots.txt の尊重：対象ページが robots.txt で拒否されていないことを台帳に記録したうえで巡回しています
  • ・403やBot保護を受けた場合：回避しません。「確認できず」として記録し、その事業者は観測対象から外します
  • ・掲載の仕方：価格の数値だけを抽出して自社で整形します。文章・表・画像は複製しません。出典と取得日は全ての数値に添えます

2b. AIに優しいサイト宣言の月次確認（2026-09-13 追加・登録したサイトのみ）

  • ・対象：AIに優しいサイト宣言に自分から登録したサイトだけです（登録していないサイトには行きません）
  • ・取得するもの：そのサイトの /.well-known/ai-friendly.json（宣言ファイル）・/robots.txt・宣言ファイルに書かれた機械可読データの URL 1本。それ以外は取得しません
  • ・頻度：月1回（上記1の robots.txt 観測と同じ日）と、登録時に1回。1ファイルにつき1リクエスト、リクエスト間隔は最低300ミリ秒、タイムアウト20秒
  • ・User-Agent：robots.txt は ai-lifeline-robots-watch/0.1 (+https://ai-lifeline.org/declaration/; ai-friendly declaration check, monthly, opt-in)、宣言ファイルとデータURLは ai-lifeline-collector/0.1 (+https://ai-lifeline.org/declaration/; ai-friendly declaration check, monthly, opt-in)
  • ・403やBot保護を受けた場合：回避しません。「未確認」として記録するだけです（否定の判定にはしません）
  • ・やめ方：投書口から削除を申し出れば理由を問わず対象から外します

3. 当社が行わないこと

  • ・robots.txt や Bot保護の回避（User-Agentの偽装、ヘッドレスブラウザでの迂回、IPの切り替えなど）
  • ・広く巡回すること。取得先は上記のとおりURL単位で台帳に限定列挙しています
  • ・取得したページの再配布・再ホスト
  • ・学習用データの収集。当社はモデルを学習させていません

4. 異議を受け取ったときの手順

収集の停止 → 掲載の停止 → 代替手段の検討 → 記録と報告、の順で対応します。 まず止めてから考える、という順序です。

5. 当サイトへの巡回について（逆向きの話）

当サイトは、検索のための巡回もAI学習のための巡回も歓迎しています。 当サイト側の許可設定は /robots.txt を、 AI向けの案内は /llms.txt と AIの方へ をご覧ください。

English version: Crawler Policy
最終更新：2026-08-26