目录:
定义-蜘蛛是什么意思？
在Internet的上下文中，Spider是一种专门设计的软件，通常用于系统地爬网和浏览万维网，目的是为网页编制索引，以便将其作为用户搜索查询的搜索结果提供。 此类蜘蛛中最著名的是Googlebot（Google的主要搜寻器），它有助于确保相关结果返回给搜索查询。
蜘蛛也被称为网络爬虫，搜索机器人或简称为机器人。
技术百科解释了蜘蛛
蜘蛛实质上是一种用于从万维网收集信息的程序。 它会爬网网站的页面，以提取信息并将其编入索引以供以后使用，通常用于搜索引擎结果。 蜘蛛会通过与页面之间的各种链接来访问网站及其页面，因此没有单个链接的页面将很难被索引，并且在搜索结果页面上的排名可能会很低。 而且，如果有很多指向页面的链接，则意味着该页面很受欢迎，并且会在搜索结果中显示较高的位置。
Web爬网涉及的步骤：
- 蜘蛛会找到一个站点并开始对其页面进行爬网。
- 蜘蛛程序会索引站点的单词和内容。
- 蜘蛛会访问网站上的链接。
蜘蛛程序或网络爬虫只是程序，因此，它们遵循程序员设置的系统规则。 网站所有者还可以通过告诉Spider将该网站的哪些部分编入索引，而哪些不应该编入索引，来了解这一点。 这是通过创建一个“ robots.txt”文件来完成的，该文件包含蜘蛛程序的说明，其中包括要索引的部分和要遵循的链接以及应忽略的部分。 其中最重要的蜘蛛是由主要搜索引擎（例如Google，Bing和Yahoo）拥有的那些，以及用于数据挖掘和研究的那些，但是也有一些恶意的蜘蛛被编写来查找和收集电子邮件以供用户出售给公司或查找Web安全中的漏洞。
