Robot Meta 标签用于向网络蜘蛛发出指令。 它告诉搜索引擎如何处理页面的内容。 它是一段代码，并入网页的“头部”部分。
一些主要的机器人元标记值或参数如下：

• FOLLOW：这个标签指示爬虫跟随页面上的链接。
• NOFOLLOW：这个标签指示爬虫不要跟随页面上的链接。
• INDEX：这个标签指示爬虫索引页面。
• NOINDEX：这个标签用于指示搜索引擎爬虫不要索引页面。