蜘蛛是搜索引擎用来索引网站的程序。 它也被称为爬虫或搜索引擎机器人。 搜索引擎蜘蛛的主要用途是索引网站。 它访问网站并阅读其页面并为搜索引擎索引创建条目。 它们充当访问网站以查找新的或更新的内容或页面和链接的数据搜索工具。
蜘蛛不会监控网站的不道德活动。 它们被称为蜘蛛，因为它们同时访问许多站点，即它们不断跨越网络的一大片区域。 所有搜索引擎都使用蜘蛛来构建和更新其索引。