站长工具

robots.txt 与 AI 爬虫规则生成器

为新站快速生成 robots.txt。可同时处理 sitemap、后台路径、抓取延迟，以及常见 AI 训练/问答爬虫的允许或禁止规则。