搜索引擎蜘蛛(有时称为爬虫程序)被Internet搜索引擎用于收集有关网站和单个网页的信息。18luck手机登录搜索引擎需要所有网站和页面的信息;18luck手机登录否则，他们将不知道在响应搜索查询时显示哪些页面或以何种优先级显示。
搜索引擎蜘蛛在Internet上爬行，并创建Web站点队列以进一步调查。当爬行器覆盖一个特定的Web站点时，爬行器就会读取所有的文本、超链接、元标记(元标记是插入到Web页面中的特定格式的关键字，其设计方式是为了让爬行器查找和使用)和代码。使用这些信息，爬行器向18luck手机登录搜索引擎提供一个概要文件。然后，爬行器通过跟踪Web页面上的超链接收集其他信息，从而更好地收集有18luck手机登录关这些页面的数据。这就是为什么在您的Web页面上有链接(更好的是在其他Web页面上有链接到您的Web页面)对于让搜索引擎找到您的Web站点非常有用。
广告
蜘蛛有四种收集信息的基本方式。18luck手机登录一种类型的爬行器仅用于创建供其他爬行器搜索的Web页面队列。这个爬行器工作在“选择”模式下，它对要浏览的页面进行优先级排序，并检查是否已经下载了某个页面的早期版本。第二种模式是专门设计用于遍历已经被爬行器爬行过的页面的爬行器。这种模式被称为“重访”。一些搜索引擎担心某个页面已经被其他蜘蛛完全抓取过了，所以他们使用了一种称为“礼貌”的蜘蛛模式，该模式限制抓取过度劳累的页面。最后，“并行化”允许爬行器与在同一页面上爬行的其他搜索引擎爬行器协调其数据收集工作。
