robot txt 是什么?robots.txt 写法与 SEO 配置完整指南

📍 WDQWDWQD987AAAAA:216.73.216.245
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /b053581c1cd1.html
📄

robot txt(标准写法 robots.txt)是放置在网站根目录的纯文本文件,用于告诉搜索引擎爬虫哪些页面可以抓取、哪些应当避免。它是搜索引擎优化中最基础也最容易被忽视的配置之一,正确设置能引导爬虫高效访问,错误设置则可能导致页面无法收录。

robots.txt 的基本语法

robots.txt 由若干条记录组成,每条记录以 User-agent 开头,后跟 Allow 或 Disallow 规则。常见写法包括:

常见配置示例

一个典型的 robots.txt 可能包含:
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /public/
Sitemap: https://www.example.com/sitemap.xml

这表示所有爬虫不得抓取后台和搜索结果页,但可以访问 public 目录,同时声明了站点地图位置。

配置时的注意事项

  1. robots.txt 必须放在域名根目录,文件名全小写,不能放在子目录。
  2. Disallow 只是建议,不能阻止页面被其他网站链接或索引,敏感内容应使用密码保护或 noindex。
  3. 不要用 Disallow 屏蔽 CSS、JS 等渲染资源,否则会影响搜索引擎理解页面。
  4. 修改后可用搜索引擎的 robots.txt 测试工具验证,避免误屏蔽整站。

robot txt 与 SEO 的关系

合理的 robot txt 配置可以减少爬虫抓取无用页面,提升重要内容的抓取频率,并配合 Sitemap 加快收录。但需注意,它并非收录控制开关,若希望页面不被索引,应结合 meta robots 或 HTTP 响应头使用。定期检查 robots.txt 是否误拦截关键目录,是网站上线和改版后的必备步骤。

图1 图2

nginx