合法爬虫功能提供合法搜索引擎白名单（例如Google、Bing、百度、搜狗、360、Yandex等），方便您为域名设置放行合法爬虫的访问请求。
前提条件
- 已开通Web应用防火墙实例，且开启了高级配置下的Bot管理模块。
- 已完成网站接入。更多信息，请参见添加域名。
背景信息
合法爬虫规则依据阿里云爬虫情报库，帮助您直接放行合法爬虫请求。阿里云爬虫情报库基于阿里云全网流量计算得出并可实时更新，涵盖合法爬虫访问请求来源的特征信息。合法爬虫支持主流搜索引擎的爬虫IP信息，可动态更新，目前包含Google、百度、搜狗、360、Bing、Yandex。
启用合法爬虫规则后，来自相关搜索引擎的合法爬虫IP将被直接放行，不经过Bot管理模块的防护检测。
操作步骤
1.登录Web应用防火墙控制台。2.在顶部菜单栏，选择Web应用防火墙实例的资源组和地域（中国内地、海外地区）。3.在左侧导航栏，单击防护配置 > 网站防护。4.在网站防护页面上方，切换到要设置的域名。
5.单击Bot管理页签，定位到Bot管理模块下的合法爬虫，开启状态开关，并单击前去配置。
6.在合法爬虫规则列表，根据情报名称选择要放行的合法爬虫，开启对应的启用状态开关。
默认规则支持单独设置放行来自以下搜索引擎的爬虫请求：Google、Bing、百度、搜狗、360、Yandex。您也可以只开启合法搜索引擎白名单规则，放行所有支持的搜索引擎白名单。
本文来自 阿里云文档中心 Web 应用防火墙 设置合法爬虫规则
原创文章，作者：网友投稿，如若转载，请注明出处：https://www.cloudads.cn/archives/34255.html
相关推荐
-
阿里云对象存储 OSSRails应用
本文主要介绍如何在Rails应用中使用OSS Ruby SDK来列举存储空间（Bucket）、上传文件（Object）、下载文件等。 准备工作 在Rails应用中使用OSS Rub…
-
阿里云视频直播StartCasterScene
调用StartCasterScene启动指定场景，限制仅用于PVW的打开。 调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，Ope…
-
阿里云视频会议查询账户详情
GetUser 描述 查询账户详情 请求参数 参数 类型 是否必传 描述 UserId String 是 用户Id 响应参数 参数 类型 描述 ErrorCode int 错误码 …
-
阿里云Web 应用防火墙业务总览
云盾Web应用防火墙总览页面展示您已接入WAF的所有网站的总体威胁情况，包括攻击防护和威胁概述、以及业务、攻击、威胁的详细分析。 操作步骤 登录云盾Web应用防火墙控制台。 前往统…
-
阿里云数据库POLARDBCREATE TABLE…PARTITION BY
使用CREATE TABLE命令的PARTITION BY子句来创建一个分区表，这个分区表中的数据分配在一个或多个分区（和子分区）中。 语法介绍 CREATE TABLE命令语法有…
-
阿里云视频直播DescribeLiveStreamRecordIndexFile
.icms-tree-table-trigger { display: inline-block; width: 17px; height: 17px; margin-right:…
-
阿里云域名QueryDomainRealNameVerificationInfo
调用QueryDomainRealNameVerificationInfo查询域名实名认证资料。 调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困…
-
阿里云函数计算配置 VPC 功能
华东 1 (杭州)，华东 2 (上海)，华北 2 (北京)，华南 1 (深圳) 这四个区域的用户如果无法使用 VPC 功能，则需要申请开通，见函数计算控制台申请提示。 专有网络 V…
-
阿里云API 网关环境管理
什么是环境管理 目前每个 API 分组有三个环境：测试、预发和线上。其中测试环境和预发环境为测试人员测试或调试 API 时使用的环境，线上环境主要为 API 用户使用的环境。 通过…