作用：听说作用最重要，特别说一下作用，这种模拟百度蜘蛛访问一些有限制的网站可以达到不被拦截，狂发帖，狂模拟，超级访问权限，并且达到不封的效果，当然这只是针对不拦截百度蜘蛛的效果有用的。
这个是是原理了：小菜飞过。
function imitateSpider($url){
$ci = curl_init(); //初始化一个CURL的会话
//curl_setopt($ci,CURLOPT_PROXY,'74.125.71.99');
curl_setopt($ci, CURLOPT_URL, $url);
curl_setopt($ci, CURLOPT_HEADER, false);
curl_setopt($ci, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ci, CURLOPT_REFERER, 'http://www.baidu.com');//这里写一个来源地址，可以写要抓的页面的首页
curl_setopt($ci, CURLOPT_USERAGENT, $user_agent);
$temp=curl_exec($ci);//执行CURL会话
curl_close($ci);
return $temp;
}
$url='www.google.com.hk';
$data=imitateSpider($url);
print_r($data);
用YYPOST的模拟百度蜘蛛访问一些有限制的网站，有时可以做到神奇效果，比如一些网站，不让一般人打开的网站，或是会被封IP，下次我们讲讲如何模拟百度IP去访问那些网站限制的哈，这个我们先说一下模拟百度蜘蛛访问网站的步骤，如下图所示：
遇到这种网站往往他们这些网站不会限制百度蜘蛛访问的，所以才会还存在网络中，除非像腾讯，阿里巴巴，淘宝那些大牛就省略过了，人家根本不在乎百度蜘蛛好吧。
用YY怎么做呢？这是一个问题：
首先你得有YYPOST的软件，步骤很简单，我们就用YYPOST的超级访问更改权限吧。看下面录像就懂了哈，
这个是录像，加载有点慢的：
然而我们再脑补一下什么是百度蜘蛛吧：
模拟蜘蛛的原理其实很简单，就是修改User-Agent
当然也可以修改成不同浏览器或者移动设备。对于蜘蛛模拟还可以做一样事情，那就是当蜘蛛过来的时候，呈现的内容是符合蜘蛛口味，比如一些关键词的堆砌（SEO优化），对于浏览器或移动设备访问（人），呈现的内容是另外一种正常的文章，为的是用户体验。
比如我用IE来模拟火狐访问，就是修改为火狐的信息
使用这个：navigator.userAgent 查看
Mozilla/5.0 (Windows NT 5.1; rv:14.0) Gecko/20100101 Firefox/14.0.1
不但如此，还有一些很多常用的User-Agent放送给大家哈
[td] | |
| Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0); 360Spider |
| Mozilla/5.0 (Linux; U; Android 4.0.2; en-us; Galaxy Nexus Build/ICL53F) AppleWebKit/534.30 (KHTML, like Gecko) Version/4.0 Mobile Safari/534.30; 360Spider |
| Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36; 360Spider |
| Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36; 360Spider |
| Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.2.2661.102 Safari/537.36; 360Spider |
| Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.2.2661.102 Safari/537.36; 360Spider |
| Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.4.2661.102 Safari/537.36; 360Spider |
| |
| |
| |
| |
| |
| |
| Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; + http://www.google.com/bot.html) |
| |
| |
| |
| |
| |
| |
| |
| |
| |
| |
| Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_1) AppleWebKit/601.2.4 (KHTML, like Gecko) Version/9.0.1 Safari/601.2.4 facebookexternalhit/1.1 Facebot Twitterbot/1.0 |
| |
| |
| |
|( 京ICP备09078825号 )
发表于 2018-1-16 10:21:56
收藏
