🤖 Robots.txt 生成
可视化配置爬虫规则，一键生成标准 robots.txt 文件，支持多 User-agent 与 Sitemap。
可视化配置爬虫规则，一键生成标准 robots.txt 文件，支持多 User-agent 与 Sitemap。
通过表单可视化配置 robots.txt 规则：User-agent、允许/禁止路径、抓取延迟与 Sitemap 声明，一键生成可直接放到网站根目录的标准文件。
输入 User-agent（默认 *）与允许/禁止的路径。
可选填 Sitemap 地址与 Crawl-delay 秒数。
点击生成后复制内容，保存为网站根目录的 robots.txt。
为新站生成基础 robots.txt 规范爬虫抓取范围。
禁止搜索引擎收录后台、私有文件等路径。
在文件中声明 Sitemap 位置，帮助收录。
可以，如 Googlebot、Baiduspider，也可用 * 匹配所有。
两者都会输出，搜索引擎按自身规则解析，建议不要对同一路径重复声明。