FileKit Lab
UTM 生成
robots 规则
llms.txt
返回首页
站长工具
robots.txt 与 AI 爬虫规则生成器
为新站快速生成 robots.txt。可同时处理 sitemap、后台路径、抓取延迟,以及常见 AI 训练/问答爬虫的允许或禁止规则。
站点规则
网站首页
Sitemap 地址
默认规则
允许搜索引擎抓取
临时禁止全站抓取
AI 爬虫策略
禁止训练型 AI 爬虫
禁止常见 AI 爬虫
不添加 AI 爬虫限制
Crawl-delay 秒数
输出换行
LF
CRLF
禁止抓取路径,每行一个
/admin/ /private/ /tmp/
额外自定义规则,可选
生成 robots.txt
复制文本
下载 robots.txt
填写规则后生成 robots.txt。