首先登陆服务器上的宝塔面板后台,找到左栏软件商店(点击)。

1.安装插件

1.1 收费版

点击专业版应用->选择Nginx防火墙安装(宝塔专业版、企业版用户、或单独购买插件)

1.2 免费版

点击第三方应用->选择Nginx免费防火墙安装

2.安装完毕后,然后打开Nginx防火墙插件点击

全局配置->黑名单->UA黑名单(设置),然后导入非常见蜘蛛及爬虫即可。

部分非常见蜘蛛及爬虫

SemrushBot
AhrefsBot
RepoLookoutBot
Scrapy
curl
DataForSeoBot
BLEXBot 
DotBot 
BLEXBot
serpstatbot
Apache-HttpClient	
lunabot
bidswitchbot
python
bushbaby
WellKnownBot
Apache-HttpClient
Curl
crawl
curb
git
Wtrace
Jullo
CrawlDaddy
FeedDemon
Feedly
UniversalFeedParser
ApacheBench
Swiftbot
MJ12bot
ZmEu
WinHttp
YYSpider
jaunty
oBot
Indy Library
FlightDeckReports
Linguee
libcurl-agent
Go-http-client
SirdataBot
WhatWeb
okhttp
msray-plus
test-bot
DataForSeo
ImagesiftBot