微信热门文章采集方法以及详细步骤VIP免费

第1页共36页编号：时间：2021年x月x日书山有路勤为径，学海无涯苦作舟页码：第1页共36页微信热门文章采集方法以及详细步骤本文将以搜狗微信文章为例，介绍使用八爪鱼采集网页文章正文的方法。文章正文里一般包括文本和图片两种。本文将采集文章正文中的文本+图片URL。将采集以下字段：文章标题、时间、来源和正文（正文中的所有文本，将合并到一个excel单元格中，将使用到“自定义数据合并方式”功能，请大家注意）。同时，采集文章正文中的文本+图片URL，将用到“判断条件”，“判断条件”的使用，有很多需要注意的地方。以下两个教程，大家可先熟悉一下。“自定义数据合并方式”详解教程：http://www.bazhuayu.com/tutorialdetail-1/zdyhb_7.html“判断条件”详解教程：http://www.bazhuayu.com/tutorialdetail-1/judge.html采集网站：http://weixin.sogou.com/使用功能点：分页列表信息采集http://www.bazhuayu.com/tutorial/fylb-70.aspx?t=1Xpathhttp://www.bazhuayu.com/search?query=XPathAJAX点击和翻页http://www.bazhuayu.com/tutorial/ajaxdjfy_7.aspx?t=1第2页共36页第1页共36页编号：时间：2021年x月x日书山有路勤为径，学海无涯苦作舟页码：第2页共36页判断条件http://www.bazhuayu.com/tutorialdetail-1/judge.htmlAJAX滚动http://www.bazhuayu.com/tutorialdetail-1/ajgd_7.html步骤1：创建采集任务1）进入主界面，选择“自定义模式”微信热门文章采集方法步骤12）将要采集的网址URL复制粘贴到网站输入框中，点击“保存网址”第3页共36页第2页共36页编号：时间：2021年x月x日书山有路勤为径，学海无涯苦作舟页码：第3页共36页微信热门文章采集方法步骤2步骤2：创建翻页循环1）在页面右上角，打开“流程”，以展现出“流程设计器”和“定制当前操作”两个板块。网页打开后，默认显示“热门”文章。下拉页面，找到并点击“加载更多内容”按钮，在操作提示框中，选择“更多操作”第4页共36页第3页共36页编号：时间：2021年x月x日书山有路勤为径，学海无涯苦作舟页码：第4页共36页微信热门文章采集方法步骤32）选择“循环点击单个元素”，以创建一个翻页循环第5页共36页第4页共36页编号：时间：2021年x月x日书山有路勤为径，学海无涯苦作舟页码：第5页共36页微信热门文章采集方法步骤4由于此网页涉及Ajax技术，我们需要进行一些高级选项的设置。选中“点击元素”步骤，打开“高级选项”，勾选“Ajax加载数据”，设置时间为“2秒”微信热门文章采集方法步骤5注：AJAX即延时加载、异步更新的一种脚本技术，通过在后台与服务器进行少量数据交换，可以在不重新加载整个网页的情况下，对网页的某部分进行更新。表现特征：a、点击网页中某个选项时，大部分网站的网址不会改变；b、网页不是完全加载，只是局部进行了数据加载，有所变化。第6页共36页第5页共36页编号：时间：2021年x月x日书山有路勤为径，学海无涯苦作舟页码：第6页共36页验证方式：点击操作后，在浏览器中，网址输入栏不会出现加载中的状态或者转圈状态。观察网页，我们发现，通过5次点击“加载更多内容”，页面加载到最底部，一共显示100篇文章。因此，我们设置整个“循环翻页”步骤执行5次。选中“循环翻页”步骤，打开“高级选项”，打开“满足以下条件时退出循环”，设置循环次数等于“5次”，点击“确定”微信热门文章采集方法步骤6步骤3：创建列表循环并提取数据1）移动鼠标，选中页面里第一条文章链接。系统会自动识别相似链接，在操作提示框中，选择“选中全部”第7页共36页第6页共36页编号：时间：2021年x月x日书山有路勤为径，学海无涯苦作舟页码：第7页共36页微信热门文章采集方法步骤72）选择“循环点击每个链接”第8页共36页第7页共36页编号：时间：2021年x月x日书山有路勤为径，学海无涯苦作舟页码：第8页共36页微信热门文章采集方法步骤83）系统会自动进入文章详情页。点击需要采集的字段（这里先点击了文章标题），在操作提示框中，选择“采集该元素的文本”。文章发布时间、文章来源字段的采集方法同理微信热门文章采集方法步骤94）接下来开始采集文章正文。先点击文章正文的第一...