当前位置:首页 > PHP > 正文内容

php QueryList 采集列表数据记录

高老师5年前 (2021-12-25)PHP2359

想通过采集代理ip来做代理ip池,通过大量的Ip提高seo效果,习惯了正则处理,但是今天有时间测试下queryList,毕竟工欲善其事必先利其器。

// 保存全部的代理IP
$allProxy = [];

// 循环爬取数据
for ($i = 0; $i < 10; $i++) {

    // 页码
    $page = $i + 1;

    // 请求地址
    $url = 'https://proxy.ip3366.net/free/?action=china&page=' . $page;

    // 定义采集规则
    $rules = [
        'ip' => ['td[data-title=IP]', 'text'],
        'port' => ['td[data-title=PORT]', 'text'],
        'type' => ['td[data-title=类型]', 'text'],
    ];

    // 循环的dom主体
    $range = 'tbody tr';
    $rt = QueryList::get($url)->rules($rules)->range($range)->query()->getData();
    foreach ($rt->all() as $ip) {
        $allProxy[$ip['ip']] = $ip;
    }

    // 休息1秒
    //sleep(1);
}

扫描二维码推送至手机访问。

版权声明:本文由高久峰个人博客发布,如需转载请注明出处。

本文链接:https://blog.20230611.cn/post/212.html

分享给朋友:

“php QueryList 采集列表数据记录” 的相关文章

PHP验证码不显示的终极解决方案

PHP验证码不显示的终极解决方案

PHP验证码不显示的问题应该是经常的事情,我在这里把2种解决方案都发出来方便大家后期使用.因为是昨天晚上自己写验证码都没有显示,我就直接把之前和李炎恢老师上课写的验证码拿来还是不显示,醉了。首先是第一种方法:1、打开服务器安装目录下的php.ini文件;2、去掉;extension=php_gd.d...

php生成验证码

php生成验证码

<?php //高先生简单验证码. //随机数 //为什么循环0-15的数字 //因为要实现最简单的字母和数字混搭 //16进制0-9   a-f //dechex 十进制转换为16进制 //创建一个四位的验证码. //$nmsg.  ...

php经纬度计算距离

php经纬度计算距离

/**  * 计算两点地理坐标之间的距离  * @param  Decimal $longitude1 起点经度  * @param  Decimal $lati...

php  RabbitMQ消息队列

php RabbitMQ消息队列

(1).config.php 配置文件<?php /**  * RabbitMQ_Config  */ $config = [     'host' => ...

PHP Warning:  ftok(): Project identifier is invalid

PHP Warning: ftok(): Project identifier is invalid

在使用ftok生成ipc进程通信key尝试将第二个参数项目标识符传入字符串报错:PHP Warning:  ftok(): Project identifier is invalid,查阅资料发现第二个字符串只能是1个字符串,长度为1....

php redis事务

php redis事务

概念请参考w3school文章: redis watch ,redis exec (看完基本秒懂)(1)基本事务://连接本地的 Redis 服务 $redis = new Redis(); $redis->con...