利用百度接口 - Go语言中文社区

利用百度接口


我的图片爬完啦,下面的是我利用百度图片接口的代码!很简单哦~~~~拿去用吧,别谢我。。。哈哈!!!大笑我纠结的就是解密那里,效率可能会低一些,我是一个字母一个字母的去找的!不知道还有没有更快速一些的办法,在这里也请教你们啦,如果有好的方法告诉我一下哈!

   /**
    *  通过百度来搜索图片链接,然后下载(这里先在本地电脑进行测试,没有放到服务器上,因为我的服务器磁盘空间太小,由于是图片,怕存不下)
    *  1.先取出我的车辆的id 和 modelname
    *  2.利用百度搜索图片的接口获取图片JSON信息
    *  3.解析JSON ,遍历里面的data ,拿到objUrl
    *  4.对objUrl 进行解密
    *  5.检测解密后的objUrl 的可用性
    *  6.获取可用的objUrl 图片到本地
    */ 
    public function getImageFromBaidu(){     // 这个是我自己的业务方法,你可以根据自己的需要去调整,但是里面也有需要注意的地方
        // 开启关闭浏览器不中断请求
        ignore_user_abort(true);
        set_time_limit(0);
        
        $carList = M('car')->field('id,modelname')->select();
        foreach($carList as $car){
            ThinkLog::write('即将获取'.$car['modelname'].'的图片数据','WARN');
            // 请求接口,拿到JSON数据
            $jsonResult = $this->useBaiduSearch($car['modelname']);
            if($jsonResult == null || $jsonResult == '') 
            {
                ThinkLog::write($car['modelname'].'的JSON获取失败','WARN');
                continue;
            }
        
            $jsonResult = str_replace("'",'"',$jsonResult);  // 返回来的json数据一定记得将里面的 单引号 替换成双引号!php4 以上对json数据要求比较严格

            $jsonResult = preg_replace('/,s*([]}])/m', '$1', $jsonResult);
            $jsonArray = json_decode($jsonResult,true);
            // 循环里面的data 部分,因为他是stdclass 类型,所以需要 ->
            foreach($jsonArray['data'] as $data){
                $objUrl = $data['objURL'];
                if(!$objUrl){
                    ThinkLog::write('objUrl 不可用','WARN');
                    continue;
                }
                // 对objUrl 进行解密
                $objUrl = $this->decodeObjUrl($objUrl);
                
                // 测试这个url是否可用
                if($this->http_status($objUrl))
                    continue;
                // 如果可用,进行下载
                $result = getImage($objUrl,'','./Uploads/'.$car['modelname'].'/');
                if(!$result){
                    ThinkLog::write($objUrl.'获取失败','WARN');
                }
            }
            ThinkLog::write($car['modelname'].'的图片数据获取完毕','WARN');
            sleep(1);
        }
    } 
    
    
    /* 
    *   使用百度图片搜索接口获取图片json内容数据
    *   @param string $word 搜索关键词
    *   @return json
    */
    public function useBaiduSearch($word=''){   // 这个才是真正请求的JSON数据,你可以根据自己的语言进行变换,接口地址就是baseUrl,里面的$word 即为关键词
        if($word == '') return null;
        // 下面这个是我利用的url,如果你用时不好用了,你可以参考我前面的文章 “寻找百度图片搜索接口--one two three”,自己再找下
        $baseUrl = 'http://image.baidu.com/search/acjson?tn=resultjson_com&ipn=rj&ct=201326592&fp=result&ie=utf-8&oe=utf-8&word='
                .$word.'&pn=30&rn=30&gsm=700001e&1457697756442=';
        return file_get_contents($baseUrl);
    }

    /**
    *  解密objUrl
    *  @param string $objUrl 要解密的objUrl 
    *  @return string 解密后的objUrl
    *  这里的解密密码,来自百度js文件,如果有改动,也请参考前面的文章,自行寻找
    */
    public function decodeObjUrl($objUrl = ''){
        if($objUrl == '') return '';
        // 这里的解密对照以百度js里面的为准
        ThinkLog::write('准备解密一个objurl:'.$objUrl,'WARN');
        $map = array(
            'w' => "a", 'k'=> "b", 'v'=> "c", '1'=> "d",
            'j'=> "e", 'u'=> "f", '2'=> "g", 'i'=> "h",
            't'=> "i", '3'=> "j", 'h'=> "k", 's'=> "l",
            '4'=> "m", 'g'=> "n", '5'=> "o", 'r'=> "p",
            'q'=> "q", '6'=> "r", 'f'=> "s", 'p'=> "t",
            '7'=> "u", 'e'=> "v", 'o'=> "w", '8'=> "1",
            'd'=> "2", 'n'=> "3", '9'=> "4", 'c'=> "5",
            'm'=> "6", '0'=> "7", 'b'=> "8", 'l'=> "9",
            'a'=> "0",
            '_z2C$q'=> ":",
            '_z&e3B'=> ".",
            'AzdH3F'=> "/"
        );
        
        $objUrl = str_replace('_z2C$q',$map['_z2C$q'],$objUrl);
        $objUrl = str_replace('_z&e3B',$map['_z&e3B'],$objUrl);
        $objUrl = str_replace('AzdH3F',$map['AzdH3F'],$objUrl);
        
        for($i=0;$i<strlen($objUrl);$i++){
            $temp = $map[$objUrl[$i]];
            if($temp!=''){
                $objUrl[$i] = $temp;
            }
        }
        ThinkLog::write('获取到了一个objurl:'.$objUrl,'WARN');
        return $objUrl;
    } 
顺便赠送你一个检测403、404、500页面的代码:

   /**
    *  判断是否为404500403页面
    *  @param string $url 即将请求的页面
    *  @return bool
    */
    public function http_status($url) {
        $ch = curl_init();
        curl_setopt($ch, CURLOPT_URL, $url);
        curl_setopt($ch, CURLOPT_HEADER, 1);
        curl_setopt($ch, CURLOPT_NOBODY, 1);
        curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
        curl_setopt($ch, CURLOPT_TIMEOUT, 5);
        $status = curl_exec($ch);
        
        curl_close($ch);
        $have404 = strpos($status,'Location: /Error/404.html');
        $have500 = strpos($status,'Location: /Error/500.html');
        $have403 = strpos($status,'Location: /Error/403.html');
        if($have404 || $have500 || $have403){
            ThinkLog::write('发生错误啦:'.$have403.':'.$have404.':'.$have500,'WARN');
            return true;
        } 
        return false;
    }
ok!完活,最后再配上我抓到的图片的几张截图:



版权声明:本文来源CSDN,感谢博主原创文章,遵循 CC 4.0 by-sa 版权协议,转载请附上原文出处链接和本声明。
原文链接:https://blog.csdn.net/qin_jian_bo/article/details/50908863
站方申明:本站部分内容来自社区用户分享,若涉及侵权,请联系站方删除。
  • 发表于 2020-03-08 11:31:32
  • 阅读 ( 1349 )
  • 分类:职场

0 条评论

请先 登录 后评论

官方社群

GO教程

猜你喜欢