福网空间站:提供万网域名、空间、美国空间、域名 福建网站制作中心提供一条龙网站建设 要就发IP网站限制访问系统,防止同行抄袭并保障海外客户访问不受影响
福网企业建站中心|上千企业网站风格 要就发外贸站,以外国人的视觉建设英文网站
福建网站建设、福建网页设计、福建网站制作 福网官方主机,新增美国主机|PHP网站建设
要就发网店系统适合个人网上开店,少投入大收益 福建福州美国域名注册、超大容量国内、国外空间
详细内容                            全国服务热线:13616088405
利用php的curl扩展进行模拟浏览器访问网页

我们一般要抓取一个网站的静态页面来完成我们的需求,其实在这里面有很多种方式可以完成,

php内置函数file_get_contents();file();readfile();都可以进行网页抓取,但是这种方式毕竟是有很大

局限性的,例如我们要访问一个需要登录的网站,需要登录验证信息,这是后php内置函数就显得疲软了

所以我们发现了一个php的扩展类curl来帮助我们完成这种事情,curl是php的扩展之一我们只需要安装它

并且在php.ini文件中打开他的扩展就可以使用了,这里我们不多赘述,其实curl使用起来还是蛮简单的下面

我们给出一个简单的demo:

<?php
$url = "www.baidu.com";//以百度为例
$data = array();
$curl = curl_init();//初始化一个curl会话;

curl_setopt($curl,CURLOPT_URL,$url);//指定访问的url

curl_setopt($curl,CURLOPT_POST,$data);//post请求的参数,

curl_setopt($curl,CURLOPT_RETURNTRANSFER,1);//获取的信息以文件流的方式返回

$data = curl_exec($curl);//执行curl;
var_dump($data);
curl_close($curl); // 关闭CURL会话

?>

这就完成了一次curl会话,大家感觉是不是没什么特别之处?,别急,我们来看看他的精髓之处就是可以传参数,当然什么cookies呀!验证的这些东西就可以通过这个来完成,

curl参数很多这里就不一一介绍了;

另外推荐大家去看一看snoopy抓取类也是不错的一个工具,simple_html_dom文档解析也很不错。

发布日期:2018-2-11    浏览量:    
要就发IP网站限制访问系统,防止同行抄袭并保障海外客户访问不受影响
福建网站制作中心(http://www.001fj.com)承接个人、公司、企业的网站建设、网页设计、网店制作、独立商城制作、外贸网站制作,也承接同行介绍的业务,欢迎联系!
本站承接主要业务如下:
1、虚拟主机(网站空间),有独立国内服务器、美国服务器、万网服务器
2、域名注册,是万网的域名代理,域名提供万网的独立控制面板
3、网站建设:含FLASH制作、个人网店制作、企业建站、公司网站、新闻、下载等建设、论坛、博客网站搭建等,承接外贸英文站制作
4、采集、程序小偷程序制作:实现商品数据采集、文章、图片采集、让你的网站在短时间内拥有大量的数据,制作小偷程序,让你i轻松拥有大型网站而不需要发大量维护
5、网站推广、流量推广:百度竞价排名,流量推广提搞你网站流量促进百度排名,每月网站流量推广,让您网站最少时间受最多人的关注
联系电话:13616088405,联系QQ:535251856