目录:
定义-蜘蛛陷阱是什么意思？
蜘蛛陷阱是一种在线功能，可将网络爬虫或漫游器陷入无限循环或其他递归情况，从而占用其资源，并实质上将爬虫绑定到特定的一组迭代中。
蜘蛛陷阱也称为履带陷阱。
技术百科解释了蜘蛛陷阱
制作了一些蜘蛛陷阱以有意转移网络爬虫的注意力。 例如，某人可能会编写一个深层目录结构，以便Web爬网程序向下爬网到该结构中，而不是移动到站点或在线空间的其他区域。 程序员还可以使搜寻器的词法分析器超载，或使用Cookie加载会话，以耗尽垃圾邮件搜索引擎或其他搜寻器的资源。
其他蜘蛛陷阱是由于编程错误而无意中造成的。 某些类型的日历引用可能会导致看似无限的循环，并使制作不当的搜寻器崩溃。
随着新的机器学习和人工智能原理的出现，使用蜘蛛陷阱和其他设计来阻止机器人网络爬虫的方式将发生变化。 由于设计人员已经证明他们现在可以使Web爬网程序以与人类相同的方式响应页面命令，因此CAPTCHA之类的资源将不再有效地对抗机器人用户。 蜘蛛陷阱和爬虫陷阱也可能不会，因为使用爬虫或漫游器的当事方将投资他们以识别并避免它们。
