FileKit Lab
返回首页

站长工具

robots.txt 与 AI 爬虫规则生成器

为新站快速生成 robots.txt。可同时处理 sitemap、后台路径、抓取延迟,以及常见 AI 训练/问答爬虫的允许或禁止规则。

站点规则

下载 robots.txt
填写规则后生成 robots.txt。

    

帮助我们判断真实需求

什么改动能让这个结果更好用?

请说明你现有的输入,以及最终需要下载或复制的文件、表格或内容。