做外贸批发开什么网站现在学seo课程多少钱

在日志中看到来自User Agent go-http-client / 1.1的大量请求

The go-http-client/1.1 User Agent 是Google的Bot / Crawler
这不是真的。这可能是指Go库（根据您提到的来源，由Google开发，但是我找不到可靠的信息）。

之前写过“Go-http-client/1.1 是哪家的爬虫 这次终于知道了”这篇文章，大家可以去看看

即使它是由Google创建的，也不能说它是Google搜寻器，至少不是基于官方文档：

https://support.google.com/webmasters/answer/1061943 14
对于那些希望go-http-client在确保它不是Google搜寻器的同时阻止来自UA的请求的解决方案是创建如下防火墙规则：

(http.user_agent contains “go-http-client” and not cf.client.bot)
Cloudflare具有高级机制，该机制超越了用户代理字符串，并且可以正确执行验证，如另一本正式文档中所述：

https://support.google.com/webmasters/answer/80553 9
PS：我已经在我管理的多个站点上观察到了该UA（及其一些变体），并可以确认其行为与合法的Google搜寻器的行为不一致。

如果要阻止此UA，则可以配置用户代理阻止规则（仅完全匹配）或防火墙规则（完全/部分匹配）。

本地服务器：bt防火墙，用UA，（go-http-client）过滤就可解决。