当前位置:首页 > PHP > 正文内容

php QueryList 采集列表数据记录

高老师4年前 (2021-12-25)PHP2300

想通过采集代理ip来做代理ip池,通过大量的Ip提高seo效果,习惯了正则处理,但是今天有时间测试下queryList,毕竟工欲善其事必先利其器。

// 保存全部的代理IP
$allProxy = [];

// 循环爬取数据
for ($i = 0; $i < 10; $i++) {

    // 页码
    $page = $i + 1;

    // 请求地址
    $url = 'https://proxy.ip3366.net/free/?action=china&page=' . $page;

    // 定义采集规则
    $rules = [
        'ip' => ['td[data-title=IP]', 'text'],
        'port' => ['td[data-title=PORT]', 'text'],
        'type' => ['td[data-title=类型]', 'text'],
    ];

    // 循环的dom主体
    $range = 'tbody tr';
    $rt = QueryList::get($url)->rules($rules)->range($range)->query()->getData();
    foreach ($rt->all() as $ip) {
        $allProxy[$ip['ip']] = $ip;
    }

    // 休息1秒
    //sleep(1);
}

扫描二维码推送至手机访问。

版权声明:本文由高久峰个人博客发布,如需转载请注明出处。

本文链接:https://blog.20230611.cn/post/212.html

分享给朋友:

“php QueryList 采集列表数据记录” 的相关文章

PHP函数赋值给一个变量的另类用法

PHP函数赋值给一个变量的另类用法

<?php   function  go($str) { echo'I\'m '.$str;  }   $goto='go';   $goto('gaojiufeng'...

PHP生成缩略图

PHP生成缩略图

//参数1  文件名    参数2  缩放比例  function   _thumb($_filename,$_percent){    ob_clean();...

 php文件锁解决高并发

php文件锁解决高并发

前面的文章对于高并发下单商品导致商品库存为负值的问题请先阅读再阅读本篇文章一定对您有帮助,建议亲手测试较好。加上文件锁后的下单处理代码:【一】.阻塞模式:(如果其他进程已经加锁文件,当前进程会一直等其他进程解锁文件后继续执行)<?php //连接数据库 $con=mysqli_connect(...

php 地址转换经纬度

php 地址转换经纬度

//$ak开发密钥,$cityname城市名称(支持省县乡详细地址) public  function   getposition($ak,$cityname){ $callback=array('lng'=>0,'l...

php数组合并 array_merge和+号的区别

php数组合并 array_merge和+号的区别

array_merge是最常用的数组合并方法,+号同样也可以,但是却有很大不同。array_merge遇到相同字符串key,后面数组的key会覆盖前面数组的key,+号正好相反。$a = [ 'one' => 'A on...

swoole中的worker_num和task_worker_num

swoole中的worker_num和task_worker_num

(1)swoole启动的主进程是master进程负责全局管理,然后master进程会再fork一个manager进程。(2)manager进程开始统一管理进程创建回收管理。(3)manager进程根据设置的worker_num和task_worker_num来创建work进程和task进程因此启动s...