AIからのクローラーを防御するプログラム「iocaine」が、その独創的なアプローチにより、海外のエンジニアの間で話題となっている。
image.png
iocaineは、上流サービスとフロントエンドのリバースプロキシの間に配置され、クローラの過剰アクセスによる負荷を劇的に低減することを目的としたソフトウェアである。特徴は以下の通りだ。
「無限迷路型」のゴミコンテンツ生成
不要なクローラを静的コンテンツと同等の低コストで“無限に”ゴミデータへ誘導し、リポジトリを延々と巡回させることでリソースを浪費させる。スクリプトエンジンによる柔軟な振る舞い
iocaine‐operatorはリクエストごとの処理方法をスクリプトで定義できる。クローラには迷路を、正当な訪問者には本物のコンテンツを、といった振り分けが可能だ。Proof-of-Work（PoW）チャレンジを最終手段として用意
人間利用者には負担となりにくい軽量なPoWを実装。基本方針は“クローラ歓迎、迷路へ誘導”だが、どうしても対策が必要な場合に限りPoWを提示する。運用コストの最小化
生成ガベージは静的ファイル配信と同程度のオーバーヘッドに抑えられており、上流サービスの負荷削減と運用コスト抑制を両立する。
作者は「悪質ボットを排除するのではなく、あえて“暖かく”迎え入れ、適度なクロール速度を維持させるほうが効果的だ」としており、AIスクレイピングに対抗する“毒”としてiocaineを普及させたい考えだ。
導入方法や内部構造の詳細は公式サイトおよびリポジトリの HACKING.md に整理されている。
詳細はiocaineを参照していただきたい。
