Robots.txt 是一个文本文件，它向搜索引擎爬虫提供有关网页、域、目录或网站文件的索引的说明。 它通常用于告诉蜘蛛您不想被抓取的页面。 这对搜索引擎不是强制性的，但搜索引擎蜘蛛会遵循 robots.txt 的说明。

该文件的位置非常重要。 它必须位于主目录中，否则蜘蛛将无法找到它，因为它们不会在整个站点中搜索名为 robots.txt 的文件。 他们只检查这些文件的主目录，如果他们在主目录中没有找到这些文件，他们就认为该站点没有任何 robots.txt 文件并索引整个站点。