robots.txt怎么写？从零开始掌握网站爬虫规则配置

📍 WDQWDWQD987AAAAA:216.73.216.111
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /8f19527fe454.html
📄

robots.txt是网站与搜索引擎爬虫之间的“沟通协议”，正确配置能引导爬虫抓取重要页面、屏蔽敏感内容。很多站长在问robots.txt怎么写，其实掌握基本语法和常见场景即可快速上手。

robots.txt的基本语法

robots.txt是一个纯文本文件，必须放在网站根目录下（如https://example.com/robots.txt）。核心指令只有几条：

• User-agent：指定规则适用的爬虫，如Googlebot、Baiduspider，用*表示所有爬虫。
• Disallow：禁止爬虫访问的路径，留空表示允许所有。
• Allow：允许访问的路径，常用于覆盖Disallow规则。
• Sitemap：声明网站地图地址，帮助爬虫发现页面。

常见写法示例

1. 允许所有爬虫抓取

最简单的写法：

User-agent: *
Disallow:

注意Disallow后面留空，表示不禁止任何路径。

2. 禁止所有爬虫抓取

User-agent: *
Disallow: /

适用于测试环境或临时关闭站点，但需注意搜索引擎可能仍会索引已收录页面。

3. 屏蔽特定目录

User-agent: *
Disallow: /admin/
Disallow: /tmp/

常用于屏蔽后台、临时文件等不希望被公开的路径。

4. 针对特定爬虫设置规则

User-agent: BadBot
Disallow: /

User-agent: *
Disallow: /private/

可以单独封禁恶意爬虫，同时不影响其他搜索引擎。

编写注意事项

• 文件名必须小写，且放在根目录。
• 每条规则一行，User-agent与Disallow成对出现。
• 路径区分大小写，支持通配符*和$。
• 不要用robots.txt屏蔽CSS、JS文件，否则影响页面渲染和收录。
• 敏感内容建议用密码保护或noindex标签，robots.txt只是“君子协定”。

最后，在文件末尾添加Sitemap地址，并定期用搜索引擎的robots.txt测试工具验证规则是否生效。掌握以上内容，robots.txt怎么写就不再是难题。