网站根目录下，robots.txt文件正确放置位置详解

对于任何一个希望被搜索引擎正常抓取的网站来说,robots.txt文件是必须正确放置的“爬虫守则”，很多初学者会疑惑：这个文件到底该放在哪个文件夹里？放错位置会有什么后果？下面就来详细说明。

唯一正确的放置位置：网站根目录

robots.txt文件必须放置在网站的 根目录（root directory）下，所谓根目录，就是当用户访问你的域名时，服务器默认指向的那个文件夹。

• 举例：如果你的域名是 www.example.com，robots.txt文件就要放在 www.example.com/robots.txt这个路径下。
• 技术逻辑：搜索引擎的爬虫（如 Googlebot、Baiduspider）在访问一个网站时，会首先自动尝试请求 域名/robots.txt这个 URL，如果文件放在根目录之外（比如放在子目录 /news/下），爬虫根本找不到它，会认为该网站没有设置 robots.txt，从而按默认规则（允许抓取所有）进行访问，可能造成不希望被公开的页面被索引。

如何确认放置成功？

1. 直接浏览器测试：在浏览器地址栏输入 http://你的域名/robots.txt，如果能直接看到文件内容（User-agent: * Disallow: /admin/），说明位置正确。
2. 查看服务器返回状态码：如果是 200（OK），则表示爬虫可正常读取；如果是 404（Not Found），则需要检查文件是否放在根目录，或服务器是否做了URL重写。

常见错误与注意事项

• 错误1：放在本地开发文件夹（如 /htdocs/子目录下），上线后忘记移到根目录。
• 错误2：文件名写错，比如写成 robots.txt.txt（多了一个扩展名）或 robot.txt（少了一个s）。
• 注意：该文件没有“后台可配置”一说，必须通过FTP、SFTP或服务器文件管理器直接上传到根目录。

小贴士：根目录是什么？

• Apache/Nginx 环境：通常是 www、public_html、htdocs等文件夹。
• WordPress 等CMS：与 wp-config.php同层级。
• 云存储/静态托管（如 GitHub Pages、OSS）：将文件放在存储桶的根路径或仓库的根目录。

只要记住 「直接放在域名根目录，并确保通过 /robots.txt 可访问」这一原则，你的 robots.txt就能被正确找到并生效。