网页文章正文采集方法，以及微信文章采集为例当我们想要将今日头条上的新闻、搜狗微信上的文章正文内容保存下来的时候，怎么办？一篇篇复制粘贴？选择一款通用的网页数据采集器，将会使工作简单很多。八爪鱼是一款通用的网页数据采集器，可采集互联网上的公开数据。用户可以设置从哪个网站爬取数据，爬取那些数据，爬取什么范围的数据，什么时候去爬取数据，爬取的数据如何保存等等。言归正传，本文将以搜狗微信的文章正文采集为例，讲解使用八爪鱼采集网页文章正文的方法。文章正文采集，主要有两大类情况：一、采集文章正文中的文本，不含图片；二、采集文章正文中的文本和图片URL。示例网站：http://weixin.sogou.com/使用功能点：Xpathhttp://www.bazhuayu.com/search?query=XPath判断条件http://www.bazhuayu.com/tutorialdetail-1/judge.html分页列表信息采集http://www.bazhuayu.com/tutorial/fylb-70.aspx?t=1AJAX滚动教程http://www.bazhuayu.com/tutorialdetail-1/ajgd_7.htmlAJAX点击和翻页http://www.bazhuayu.com/tutorialdetail-1/ajaxdjfy_7.html一、采集文章正文中的文本，不含图片具体步骤：步骤1：创建采集任务1）进入主界面，选择“自定义模式”网页文章正文采集步骤12）将要采集的网址URL复制粘贴到网站输入框中，点击“保存网址”网页文章正文采集步骤2步骤2：创建翻页循环1）在页面右上角，打开“流程”，以展现出“流程设计器”和“定制当前操作”两个板块。网页打开后，默认显示“热门”文章。下拉页面，找到并点击“加载更多内容”按钮，在操作提示框中，选择“更多操作”网页文章正文采集步骤32）选择“循环点击单个元素”，以创建一个翻页循环网页文章正文采集步骤4由于此网页涉及Ajax技术，我们需要进行一些高级选项的设置。选中“点击元素”步骤，打开“高级选项”，勾选“Ajax加载数据”，设置时间为“2秒”网页文章正文采集步骤5注：AJAX即延时加载、异步更新的一种脚本技术，通过在后台与服务器进行少量数据交换，可以在不重新加载整个网页的情况下，对网页的某部分进行更新。具体请看AJAX点击和翻页教程：http://www.bazhuayu.com/tutorialdetail-1/ajaxdjfy_7.html观察网页，我们发现，通过5次点击“加载更多内容”，页面加载到最底部，一共显示100篇文章。因此，我们设置整个“循环翻页”步骤执行5次。选中“循环翻页”步骤，打开“高级选项”，打开“满足以下条件时退出循环”，设置循环次数等于“5次”，点击“确定”网页文章正文采集步骤6步骤3：创建列表循环并提取数据1）移动鼠标，选中页面里第一条文章链接。系统会自动识别相似链接，在操作提示框中，选择“选中全部”网页文章正文采集步骤72）选择“循环点击每个链接”网页文章正文采集步骤83）系统会自动进入文章详情页。点击需要采集的字段（这里先点击了文章标题），在操作提示框中，选择“采集该元素的文本”。文章发布时间、文章来源字段的采集方法同理网页文章正文采集步骤94）接下来开始采集文章正文。先点击文章正文的第一段，系统会自动识别页面内的同类元素，选择“选中全部”网页文章正文采集步骤105）可以看到，所有的正文段落均被选中，变为绿色。选择“采集以下元素文本”网页文章正文采集步骤11注意：在字段表中，可进行字段的自定义修改网页文章正文采集步骤126）经过如上操作，正文就会被全部采集下来（默认为每一段正文为一个单元格）。一般而言，我们希望采集的正文，合并为同一个单元格。点击“自定义数据字段”按钮，选择“自定义数据合并方式”，勾选“同一字段多次提取合并为一行，即追加到同一字段，例如正文分页合并”，再点击“确定”网页文章正文采集步骤13“自定义数据字段”按钮网页文章正文采集步骤14选择“自定义数据合并方式”网页文章正文采集步骤15如图进行勾选步骤4：修改Xpath1）选中整个“循环步骤”，打开“高级选项”，可以看到，八爪鱼默认生成的是固定元素列表，定位的是前20篇文章的链接网页文章正文采集步骤162）在火狐浏览器中打开要采集的网页并观察源码。我们发现，通过此条Xpath：//DIV[@class='main-left']/DIV[3]/UL/LI/DIV[2]/H3[1]...
