站长工具
robots.txt 与 AI 爬虫规则生成器
为新站快速生成 robots.txt。可同时处理 sitemap、后台路径、抓取延迟,以及常见 AI 训练/问答爬虫的允许或禁止规则。
站点规则
帮助我们判断真实需求
什么改动能让这个结果更好用?
请说明你现有的输入,以及最终需要下载或复制的文件、表格或内容。
站长工具
为新站快速生成 robots.txt。可同时处理 sitemap、后台路径、抓取延迟,以及常见 AI 训练/问答爬虫的允许或禁止规则。
帮助我们判断真实需求
请说明你现有的输入,以及最终需要下载或复制的文件、表格或内容。