黑灰产中有一部分专门针对站长,形式多种多样,比如:
1、垃圾评论:这个早期黑帽SEO中做外链时就开始有了
2、批量注册账号:在账号名称中包含广告信息
3、 referer:利用统计工具记录 referer 的特性,让好奇的站长访问该网站(对于流量少的网站尤其有效)
4、 搜索词和访问链接:动态将各目标网站的统计代码集成到推广页面中利用百度等跳转链接实现广告词和链接的投放
第4种Alan的博客最近发现百度统计中记录的各种香艳的小广告越来越多
解决方案是通过在百度统计的管理>统计规则设置>过滤规则中设置白名单仅记录自己网站的流量
跨平台解决方案
Nginx简单的User-Agent反爬
#禁止Scrapy等工具的抓取 if ($http_user_agent ~* (Scrapy|Curl|HttpClient)) { return 403; } #禁止指定UA及UA为空的访问 if ($http_user_agent ~ "WinHttp|WebZIP|FetchURL|node-superagent|java/|FeedDemon|Jullo|JikeSpider|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|Java|Feedly|Apache-HttpAsyncClient|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|oBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|HttpClient|MJ12bot|heritrix|EasouSpider|Ezooms|BOT/0.1|YandexBot|FlightDeckReports|Linguee Bot|^$" ) { return 403; } #禁止非GET|HEAD|POST方式的抓取 if ($request_method !~ ^(GET|HEAD|POST)$) { return 403; }
其它链接: https://www.secpulse.com/archives/66483.html
图片追踪及隐形水印服务:https://www.imatag.com/
内容保护:https://www.dmca.com/
上传 .mov 文件所遇到的坑
我们都知道 .mov 文件的 Mime Type 是 video/quicktype,但在进行前端校验时,有一台测试机器(Windows 10)中出现自定义文件中无法筛选出.mov 文件,且在 JS 中进行 Type 校验时断点发现所获取到的 type 值为空。
解决方案
1、type 校验问题
打开注册表( 命令打开:regedit)然后在HKEY_CLASSES_ROOT下找到.mov,选中右击 新建>字符串值,添加
名称:Content Type
数据:video/quicktime
重启电脑,此时会发现获取类型将不再存在问题
原因分析:测试机器安装的 QQ 影音播放器覆盖了注册表中的设置
2、自定义文件筛选问题
在 input 标签的 accept 属性中添加一个对 .mov 后缀名的校验
原因分析:H5的原生 Mime Type 类型支持是有一定限制的,不同浏览器的兼容性会不致,但具体原因尚无法得知
升级到macOS Catalina 遇到的坑
1、找不到的文件请先查看/Users/Shared/Relocated\ Items/Security/
2、RDC远程 Windows 工具无法使用
3、PhotoShop “Save for web”闪退
4、App Store 更新应用输入正确用户名、密码失败
5、VLC 播放器存在画面静止不动等问题
https://youtu.be/PFwUbgvpdaQ
关于 SPA等应用的爬取,从这个视频中得到信息以及我自己的理解是:
工具: