欢迎来到酱油妹!织梦模板,dede模板下载,织梦cms模板,免费网站模板下载站

酱油妹

优化织梦CMS采集程序 支持部分采集仅需两步

企业模板

织梦CMS自带的采集功能,虽然比不上其他专业的采集软件,但对比其他采集程序,在性能上还是很好。大量其他程序没办法采集下来的网页,采用织梦CMS可以采集得到。譬如58同城首页,采用discuz的下载函数采集过来的都是一片空白或者警告内容,但是采用织梦DEDE的下载完全可以下载下来。  DEDE采集程序原理  织梦CMS的采集原理很容易: 通过PHP程序socket模拟HTTP请求,下载整张网页的HTML。不过这里面有一个不足之处——不支持部分采集。假如大家仅仅要获得对方网页的标题,却下载了整张网页。一两张无所谓,但是很多的下载就会挤占服务器资源和带宽。譬如商务大陆网35dalucom的分类信息网站大全,该频道含有600多分类信息网站,网站程序后台自动按期获得这些网站的标题,以判断这些网站是不是可以正常打开,内容是不是发生改变。假如采用dede的程序,直接默认下载整张网页而不是仅网页HTML头部部分,长期下去不言而喻会挤占多少服务器资源。此时大家此处仅仅需要获得对方网页的标题而已。  修改文件dedehttpdown.class.php  要让织梦CMS达成部分采集的功能很容易,仅需修改采集程序文件dedehttpdown.class.php 中的2个地方即可。采用notepad++或者dreamweaver 打开 /include/dedehttpd.class.php:  (1)第118行 $this->m_html = '';背后加入$this->dataLimit = 0;
  (2)第 285行$this->m_html .= fgets($this->m_fp,256); 背后加入 if($this->dataLimit > 0 && strlen($this->m_html) > $this->dataLimit) break; 保存即可。    怎么使用:  $remoteURL = ‘http://www.***.com/info/fabu/’;  $dh = new DedeHttpDown();  $dh->OpenUrl($remoteURL);  $dh->dataLimit = 1024;  $remoteHTML = $dh->GetHtml();  
修改采集字节大小即可大家仅需在 $dh->OpenUrl($remoteURL);背后加入 $dh->dataLimit = 1024;(你想采集的字节大小)即可。  
通过这样的办法,大家可以更节省服务器资源。(责任编辑:酱油妹)


希望以上内容可以解决您的问题!
如有其他问题欢迎大家一起交流学习!
作者:酱油妹 来源:互联网 关注: 时间:2020-06-29 19:13
版权声明:凡注明来源为www.jiangyoumei.com的均为本站原创,转载请注明来源。
本文网址:http://www.jiangyoumei.com/jiaocheng/seo/20200629/7879.html
►凡本站提供教程均已验证教程的准确性。
►为提高用户在织梦后台添加栏目的灵活性(可随意添加/删除栏目),并保持(管理后台添加/删除栏目)与前端网站栏目的一致,本站模板中栏目均未固定,用户直接搜索typeid=''并替换''中的数字为所需栏目id即可。
►本站提供各种类型织梦模板!希望在这里找到喜欢的。下载本站模板,用户直接替换相关文字和图片即可。
►本站仅提供织梦模板即(DEDE模板),(除另外说明)均不带织梦安装程序及数据,用户直接覆盖默认模板即可。
►本站所有资源(包括源码、模板、插件等)仅供学习与参考,请勿用于商业用途。
►如有其他问题,请加网站客服QQ(375750496)进行交流。
相关织梦教程
在线客服

织梦模板 整站模板 新手教程 使用技巧