robots.txt文件生成工具
千寻网robots.txt生成工具，可视化配置允许/禁止爬虫规则、Sitemap 地址，一键生成标准 robots.txt 文件。
使用方法：配置规则 → 点「生成」→ 复制或下载 → 上传到网站根目录（如 https://l660.com/robots.txt）。
说明：
1. User-agent: * 表示所有爬虫；Disallow: / 禁止抓取全站。
2. Disallow 优先级高于 Allow，但更具体的 Allow 会覆盖。
3. 支持通配符 *（匹配任意字符）和 $（匹配结尾）。