如何最合理的处理七牛cdn镜像加速功能造成的网站被镜像问题

很多小伙伴都在使用七牛cdn来加快网站的访问速度,尤其是七牛的静态文件镜像功能更是非常方便的帮站长把网站本地的静态文件同步到七牛的cdn服务器上,不过呢很多小伙伴在使用七牛的cdn镜像一段时间之后都发现网站莫名其妙的被百度降权了,才发现原来七牛的镜像功能会把网站的html内容也镜像到七牛上,这样一来就相当于七牛上存在一个镜像站点,对于SEO来说是非常不友好的,所以也就造成大量使用了七牛镜像功能的网站被百度降权。当时爆出这个问题的时候七牛官方给出了一个处理方法,就是上传robots.txt来禁止爬虫抓取镜像站点,不过小V觉得这种方法完全是治标不治本的方法,下面小V给出一个比较合理的处理方案:

通过UserAgent来屏蔽七牛镜像爬虫对网页文件的抓取,代码如下:

if( strpos($_SERVER['HTTP_USER_AGENT'],'qiniu-imgstg-spider') !== false) {
header('HTTP/1.1 503 Service Temporarily Unavailable');
echo '防七牛镜像';
exit;
}

将以上代码加到网站根目录呃index.php文件的<?php之后即可,或者加到主题的functions.php文件也行,这段代码不仅仅是wordpress程序可用,任何php的程序都能用来处理七牛cdn镜像造成的网站被镜像文件。

加上以上代码,七牛cdn的镜像爬虫再来镜像网页文件就会返回503状态:

直接访问镜像站点,效果图:

如何最合理的处理七牛cdn镜像加速功能造成的网站被镜像问题-wordpress教程-代码笔记 %

日志中的记录:

如何最合理的处理七牛cdn镜像加速功能造成的网站被镜像问题-wordpress教程-代码笔记 %

由于只是在php上做限制所以不影响其他静态文件的镜像加速~~。

2014.11.13补充

使用了WP Super Cache插件的小伙伴请将七牛的ua加入到禁止缓存列表中,如下图:

如何最合理的处理七牛cdn镜像加速功能造成的网站被镜像问题-wordpress教程-代码笔记 %

(PS:如果之前已经被七牛镜像了,请先清空七牛的缓存,或者添加代码后更新缓存~~)

如何最合理的处理七牛cdn镜像加速功能造成的网站被镜像问题》上有9条评论

    1. 小V 文章作者

      那种方法治标不治本,万一要是有人恶意的镜像你的网站那就不是robots.txt能处理的的了,这个方法就处理的比较全面~~ :mrgreen:

      回复

发表评论

电子邮件地址不会被公开。 必填项已用*标注