站群日志分析排查：通过访问日志发现采集器盗用内容和恶意攻击的IP

站群日志分析排查的核心，是把访问日志同时当成采集器盗用内容和恶意攻击的取证入口。先分清两类流量的目标与痕迹，再决定封禁、限速还是留证。

先分清对象：采集器盗用与恶意攻击不是同一种流量

访问日志的字段就那几个：客户端 IP、时间、请求方法、URL、状态码、响应大小、Referer、User-Agent。采集器盗用内容，目标通常是文章、商品、图片、分页和 sitemap，抓取节奏相对平稳，状态码以 200 为主；恶意攻击则更在意打慢服务、探测后台、刷接口或提交垃圾数据，路径常见 wp-login.php、xmlrpc.php、/admin、随机字符串，状态码里 403、404、499、500 的比例会明显升高。两者都可能伪装 UA，所以不能只看一个字段。

对比可以这样看：

表格不是结论，只是初筛。真正的判断要回到日志上下文：同一个 IP 是只抓内容，还是同时扫后台；同一个 UA 是只出现一次，还是持续多天。站群日志分析排查的价值，就在于把跨站点、跨时间的行为拼起来看。

看日志时对比什么：UA、Referer、频率、路径、IP

Nginx 常见访问日志在 /var/log/nginx/access.log，宝塔面板通常在 /www/wwwlogs/域名.log，Apache 常见在 /var/log/httpd/access_log。先看 IP 排行：

awk '{print $1}' access.log | sort | uniq -c | sort -nr | head -20

再看路径和状态码：

awk '{print $7}' access.log | sort | uniq -c | sort -nr | head -30
awk '{print $9}' access.log | sort | uniq -c | sort -nr

看 UA 和 Referer：

awk -F\" '{print $6}' access.log | sort | uniq -c | sort -nr | head -20
grep -Ei "AhrefsBot|SemrushBot|MJ12bot|Bytespider|GPTBot" access.log | head

这里要对比的是：UA 是官方蜘蛛、普通浏览器，还是空 UA、工具 UA；Referer 是搜索引擎、站内，还是空或异常外链；请求频率是每秒几发还是几十发；路径集中在内容页还是后台接口。若 UA 写着 Baiduspider，但 IP 反查不属于官方段，就要按伪蜘蛛处理。可以用 dig -x IP +short 和 whois IP 做基础核验，再对照搜索引擎公布的 IP 段。

单站手工排查 vs 多站集中分析

单站排查快。宝塔面板进入“网站 → 站点 → 日志”，或直接下载 /www/wwwlogs/example.com.log，用 GoAccess 生成可视化报告：

goaccess /www/wwwlogs/example.com.log --log-format=COMBINED -o report.html

优点是几分钟能出结果，适合先判断某个站是否被集中采集。缺点是站群有几十上百个域名时，逐个看容易漏掉同一 IP 打多个站的情况。

多站集中分析更适合站群运营。思路是把各站日志按统一格式汇总，至少保留站点、时间、IP、URL、状态码、UA、Referer。可以用脚本先合并统计：

for f in /www/wwwlogs/*.log; do
  awk -v site="$f" '{print site, $1, $7, $9}' "$f"
done | sort | uniq -c | sort -nr | head -50

如果规模更大，可以把日志送到阿里云日志服务、Grafana Loki、ELK 等平台，按 IP 和 UA 做聚合。对比结论是：单站看细节，多站看关联；站群尤其要关注同一 IP 是否在多个域名上同时抓取或攻击。

处置手段对比：封禁、限速、验证、留证、内容策略

确认是真搜索引擎蜘蛛，放行并保证可抓取；确认是盗用内容的采集器，优先限速和留证，而不是直接一巴掌封死。Nginx 限速示例：

limit_req_zone $binary_remote_addr zone=req:10m rate=5r/s;
server {
    location / {
        limit_req zone=req burst=10 nodelay;
    }
}

封单个 IP 可用防火墙：

iptables -I INPUT -s 203.0.113.10 -j DROP

示例 IP 仅用于说明，实际以日志中的来源为准。云厂商 WAF、Cloudflare 的 Rate Limiting、宝塔防火墙也都能做类似规则，入口一般在“安全/WAF/防火墙”页面，费用和额度以平台页面为准。

对采集器盗用内容，除了封禁，还可以做：robots.txt 声明、文章分页截断、图片水印、版权声明、延迟发布、登录可见，必要时走 DMCA 或律师函。对恶意攻击，则要叠加验证码、JS 挑战、隐藏字段、限制 POST 频率，并备份日志。留证时记录时间、IP、UA、请求路径、状态码，最好把原始日志文件一并保存。

站群场景的特殊对比：真蜘蛛、伪蜘蛛、跨站攻击

站群多域名、多子站，最大的误判是把真蜘蛛当采集器封掉。处理方法是对照官方 IP 段，配合反查解析和 WHOIS。另一个误判是只看单站日志，没发现同一 IP 正在扫多个站。建议给每个站点日志加站点标记，集中看 IP 的跨站行为。

如果盗用内容已经发生，后续要检查收录和排名。用百度收录批量查询看被抄内容是否出现重复收录，用页面SEO分析对比标题、正文、内链差异。域名投资者和站长也可以顺手查 WHOIS、DNS，判断对方是临时站群还是长期镜像。

最后按损失和成本排序

排查顺序可以按损失和成本来排：先备份日志，再放行真蜘蛛，再限速可疑采集，最后封禁攻击 IP 并补 WAF 规则。采集器盗用内容更像慢性失血，影响重复内容和排名；恶意攻击更像急性问题，影响可用性和安全。两者都在访问日志里留下痕迹，但处置不能混为一谈。

相关工具与阅读

• 百度收录批量查询
• 页面SEO分析
• WHOIS查询
• 188CMS 站群程序