{
  "country": "JP",
  "generated": "2026-09-24 10:31",
  "indicator": {
    "id": "vuln_data_02",
    "chapter": "data",
    "name": "主要AIクローラーを全面拒否しているサイト数",
    "short_name": "AIクローラー全面拒否サイト数",
    "unit": "サイト",
    "definition_version": "1.0",
    "definition_fixed_on": "2026-08-22",
    "definition_doc": "docs/指標定義_脆弱性02_データクローラー全面拒否サイト数.md",
    "aggregation": "暦月（JST）。その月の最終巡回時点で、観測対象AIクローラー全種に対し robots.txt で Disallow: / を指定しているサイトの数。分母は巡回に成功したサイト数",
    "means": "AIが日本語で学び答えるための素材が、どれだけの入口で完全に閉じられているかの記録（脆弱性＝もろさ）",
    "not_means": "閉じた側を批判するものではない。robots.txtは各サイトの正当な意思表示であり、本指標は学習素材の入手可能性の記録にすぎない。また実際の学習利用の有無を示すものでもない",
    "block_definition": "「全面拒否」＝当該User-agentのグループに Disallow: / がある状態（Robots Exclusion Protocol／RFC 9309）。一部パスのみのDisallow（部分制限）は数えない"
  },
  "bots_observed": [
    "GPTBot",
    "ClaudeBot",
    "Google-Extended",
    "CCBot",
    "PerplexityBot",
    "Bytespider",
    "meta-externalagent",
    "Applebot-Extended"
  ],
  "source": {
    "name": "国内主要サイトのrobots.txt（自前巡回）",
    "license": "robots.txtは機械向けに公開されたファイル",
    "panel": "ai-lifeline/scripts/robots_panel.json（パネル固定。変更は定義書の改定手順に従う）",
    "panel_note": "本パネルは当社が選定した名簿であり、網羅的な母集団ではない。日本語ウェブ全体でも、報道機関の全数でもない。外部が作成した公開名簿を採用したものではなく、当社が国内主要サイトとして選んだ26件である。比率は「このパネルの中での比率」としてのみ読むこと",
    "script": "ai-lifeline/scripts/build_vulnerability_data.ps1（巡回は fetch_data_chapter.ps1・月次）",
    "coverage": "2026-08 〜 2026-09（2か月）"
  },
  "current_month": {
    "month": "2026-09",
    "observed_date": "2026-09-01",
    "panel_size": 26,
    "panel_ok": 25,
    "bots_observed": 8,
    "block_all": 8,
    "block_any": 11,
    "block_none": 14
  },
  "previous_month": {
    "month": "2026-08",
    "observed_date": "2026-08-20",
    "panel_size": 26,
    "panel_ok": 25,
    "bots_observed": 8,
    "block_all": 8,
    "block_any": 11,
    "block_none": 14
  },
  "change_vs_previous": {
    "block_all": 0,
    "block_any": 0
  },
  "change_note": "前月の最終巡回時点との比較",
  "by_category": [
    {
      "category": "EC",
      "total": 2,
      "block_all": 0
    },
    {
      "category": "プラットフォーム",
      "total": 7,
      "block_all": 1
    },
    {
      "category": "行政",
      "total": 2,
      "block_all": 0
    },
    {
      "category": "出版・雑誌",
      "total": 4,
      "block_all": 0
    },
    {
      "category": "知識",
      "total": 2,
      "block_all": 0
    },
    {
      "category": "報道",
      "total": 8,
      "block_all": 7
    }
  ],
  "monthly": [
    {
      "month": "2026-08",
      "observed_date": "2026-08-20",
      "panel_size": 26,
      "panel_ok": 25,
      "bots_observed": 8,
      "block_all": 8,
      "block_any": 11,
      "block_none": 14
    },
    {
      "month": "2026-09",
      "observed_date": "2026-09-01",
      "panel_size": 26,
      "panel_ok": 25,
      "bots_observed": 8,
      "block_all": 8,
      "block_any": 11,
      "block_none": 14
    }
  ]
}