AIクローラーを一括りにするな

BRANK

この記事の位置づけ本稿は、AI時代のWebサイト運用における AIO Bot Governance を扱う。ここでいうAIO Bot Governanceとは、単に robots.txt を書くことではない。また、単に llms.txt や llms-full.txt を設置して、AIに読ませる文脈を整えることでもない。本稿の主張は明確である。!AI botを「AIクローラー」と一括りに扱う時代は終わった。これからのAIOでは、botを 学習系・検索/引用系・ユーザー起点fetch系・広域アーカイブ系・SNS/OGP系・広告/検証系・マルチモーダル収集系・GUI/Agent実行系・非自己識別/難読化系 に分解し、何を許可し、何を拒否し、何を観測し、何を信用しないか を設計する必要がある。本稿は「AI bot一覧」ではない。一覧表だけなら、既に多くのSEO記事やbot directoryが存在する。本稿の目的は、AI botを実務上の制御対象として分類し、AIO、robots.txt、llms.txt、sitemap、構造化データ、アクセスログ、WAF/CDN、IP/rDNS/TLS fingerprint までを一体で扱う、実務的な設計論としてまとめることにある。この記事のタグZennのtopicsには5個しか入れられないため、本文上では以下のタグ群を扱う。`#AIO` `#AIOptimization` `#robots.txt` `#llms…