快乐每一天

自己选择的路,跪着也要走下去...

lnmp执行定时任务抓取文章信息并且入库(ThinkPHP5定时任务配合修罗BBS)(第一版初稿)

案例站点:传送门

定时任务脚本

vi /root/hello.sh

shell脚本要写环境变量才能生效

#!/bin/bash
export PATH="/usr/local/php/bin:$PATH"
export PATH="/:$PATH"
cd /mydata/catch/
php think test
echo "hello word!"

查看执行过的定时任务

tail -f /var/log/cron

查看定时任务(1分钟执行一次,执行定时任务的时候用source 环境变量才会生效)

[root@VM_0_15_centos /]# crontab -e
*/1 * * * * /usr/local/qcloud/stargate/admin/start.sh > /dev/null 2>&1 &
*/1 * * * *  source  /root/hello.sh

查看PHP定时脚本

<?php
/**
 * Created by PhpStorm.
 * User: cwwx0
 * Date: 2019/6/7
 * Time: 21:52
 */

namespace app\index\controller;


use think\console\Command;
use think\console\Input;
use think\console\Output;
use QL\QueryList;
use think\Db;

class Test extends Command
{
    protected function configure()
    {
        $this->setName('test')->setDescription('Here is the remark ');
    }

    protected function execute(Input $input, Output $output)
    {

        $url = 'https://it.ithome.com/ityejie/';
// 元数据采集规则
        $rules = [
            'title' => ['h2>a','text'],
            'link' => ['h2>a','href'],
            'img' => ['.list_thumbnail>img','src'],
            'desc' => ['.memo','text']
        ];
        // 切片选择器
        $range = '.ulcl>li:gt(0)';
        $rt = QueryList::get($url)->rules($rules)->range($range)->query()->getData()->map(function($item){
            $qlde = QueryList::get($item['link']);
            $rtdetail = [];
            $rtdetail['title'] = $qlde->find('h1')->text();
            $rtdetail['author'] = $qlde->find('#author_baidu>strong')->text();
            $rtdetail['createtime'] = $qlde->find('#pubtime_baidu')->text();
            $rtdetail['content'] = $qlde->find('.post_content')->html();
            $item['content']=$rtdetail;
            return $item;
        })->all();

        foreach (array_reverse($rt) as $val){

            $check=Db::name('thread')->where('subject',$val['title'])->find();
            if($check){
                continue;
            }
            $int=array();
            $int['fid']=5;
            $int['uid']=1;
            $int['userip']=1881148765;
            $int['subject']=$val['title'];
            $int['create_date']=strtotime($val['content']['createtime']);
            $int['last_date']=strtotime($val['content']['createtime']);
            $tid=Db::name('thread')->insertGetId($int);


            $second=array();
            $second['uid']=1;
            $second['tid']=$tid;
            Db::name('mythread')->insert($second);

            $thirdpost=array();
            $thirdpost['tid']=$tid;
            $thirdpost['uid']=1;
            $thirdpost['isfirst']=1;
            $thirdpost['create_date']= strtotime($val['content']['createtime']);
            $thirdpost['userip']=1881148765;
            $thirdpost['images']=0;
            $thirdpost['files']=0;
            $thirdpost['doctype']=0;
            $thirdpost['quotepid']=0;
            $thirdpost['r_f_c']=0;
            $thirdpost['r_f_a']=0;
            $thirdpost['likes']=0;
            $thirdpost['repeat_follow']='';
            $thirdpost['message']=$val['content']['content'];
            $thirdpost['message_fmt']=$val['content']['content'];
            $pid=Db::name('post')->insertGetId($thirdpost);
            Db::name('thread')->where('tid',$tid)->update(array('firstpid'=>$pid,'lastpid'=>$pid));

            $output->writeln("*****************************************:");
            echo '文章'.$val['title'].'导入成功';
            $output->writeln("*****************************************:");
        }
//        print_r($rt);
        $output->writeln("TestCommand:");
    }
}

手动执行一次看一下结果如下所示

[root@VM_0_15_centos /]# /root/hello.sh
PHP Warning:  PHP Startup: Unable to load dynamic library '/usr/local/php/lib/php/extensions/no-debug-non-zts-20160303/http.so' - /usr/local/php/lib/php/extensions/no-debug-non-zts-20160303/http.so: cannot open shared object file: No such file or directory in Unknown on line 0
*****************************************:
文章震撼体又来!微信助手辟谣“高考满分作文来了,震撼13亿人...”导入成功*****************************************:
*****************************************:
文章华为:2019年年内或无法完成超越三星的目标导入成功*****************************************:
*****************************************:
文章快狗打车否认裁员50%:调整比例未超员工总数的3.5%导入成功*****************************************:
*****************************************:
文章中国铁路12306出故障,大量用户反馈无法支付导入成功*****************************************:
*****************************************:
文章国资委:三家运营商要进一步加强合作,避免5G重复投资导入成功*****************************************:
*****************************************:
文章四部委联合开展专项整治活动:将处罚并曝光违法违规网站导入成功*****************************************:
*****************************************:
文章回应格力举报,奥克斯以损害商誉为由报案:宁波警方已受理导入成功*****************************************:
*****************************************:
文章安卓绿色联盟分析八大新闻类App内存占用情况导入成功*****************************************:
*****************************************:
文章工商银行:正式推出首家基于5G应用的新型智能网点导入成功*****************************************:
*****************************************:
文章菜鸟联手百世、申通、圆通率先上线新版电子面单导入成功*****************************************:
*****************************************:
文章阿里云与慧联无限发布首款LoRa室内安防套装产品 可30秒内完成安装导入成功*****************************************:
*****************************************:
文章618物流大提速,苏宁易购开启五大新仓库导入成功*****************************************:
*****************************************:
文章CES Asia 2019智慧5G小店被定义 苏宁联通携手共进5G时代导入成功*****************************************:
*****************************************:
文章618苏宁汽车O2O服务见效,自营轮胎销售上涨352%导入成功*****************************************:
TestCommand:
此文章共有条评论, 人参与 |Powerd By Angboo