提升DEDECMS收集程序流程 适用一部分收集只必须两

2021-05-12 20:41 jianzhan

提升DEDECMS收集程序流程 适用一部分收集只必须两步


短视頻,自新闻媒体,达人种草1站服务 DEDECMS自带的收集作用,尽管比不上别的技术专业的收集手机软件,但比照别的收集程序流程,在特性上還是十分非常好。许多别的程序流程没法收集下来的网页页面,应用DEDECMS能够收集获得。例如58同城网主页,应用discuz的免费下载涵数收集过来的全是1片空白或警示內容,可是应用dedecms的免费下载彻底能够免费下载下来。

DEDE收集程序流程基本原理

DEDECMS的收集基本原理很简易: 根据PHP程序流程socket仿真模拟HTTP恳求,免费下载整张网页页面的HTML。但是这里边有1个不够的地方 不适用一部分收集。假如大家仅仅要得到对方网页页面的题目,却免费下载了整张网页页面。1两张没有谓,可是很多的免费下载就会占用服务器空间和带宽。例如商务大陆网35dalu的归类信息内容网站大全,该频道含有600多归类信息内容网站,网站程序流程后台管理全自动按时获得这些网站的题目,以分辨这些网站是不是能够一切正常开启,內容是不是产生更改。假如应用dede的程序流程,立即默认设置免费下载整张网页页面而并不是仅网页页面HTML头顶部一部分,长期性下去显而易见会占用是多少服务器空间。此时大家此处仅仅必须得到对方网页页面的题目罢了。

改动文档dededown.class.php

要让DEDECMS完成一部分收集的作用十分简易,只必须改动收集程序流程文档dededown.class.php 中的2个地区便可。应用notepad++或dreamweaver 开启 /include/deded.class.php:

(1)第118行 $this- m_html = 身后添加$this- dataLimit = 0;

 

(2)第 285行$this- m_html .= fgets($this- m_fp,256); 身后添加 if($this- dataLimit 0 strlen($this- m_html) $this- dataLimit) break; 储存便可。

 

应用方式:

$remoteURL = .***/info/fabu/

$dh = new DedeHttpDown();

$dh- OpenUrl($remoteURL);

$dh- dataLimit = 1024;

$remoteHTML = $dh- GetHtml();

 

大家只必须在 $dh- OpenUrl($remoteURL);身后添加 $dh- dataLimit = 1024;(你想收集的字节尺寸)便可。根据这样的方式,大家能够更节省服务器空间。本文出自35dalu商务大陆网归类信息内容服务平台,转载请保存作者连接,感谢。