如何分析网站网页爬虫爬取规则

 我来答
武汉肥猫科技
2017-01-11 · 武汉肥猫科技提供高端网站建设、SEO等服务
武汉肥猫科技
武汉肥猫网络科技有限公司,是一家集策划、设计、技术开发于一体的专业互联网产品服务公司,致力于为企业信息化提供驱动力。
向TA提问
展开全部
既然确定了用爬虫来自动整理文章,你得先理解爬虫是什么。爬虫说白了就是一个脚本程序。说到脚本,我们平时遇到一些费时费力又容易出错的活儿,都可以把用到的命令写到脚本里,让计算机自动来执行。测试同学说的自动化脚本,运维同学说的环境配置脚本,都是这个意思。一个脚本包含了很多命令,一个接一个,告诉计算机第一步干什么,之后干什么,最后干什么。

  在这里,我们的目标很明确,就是写一个爬虫脚本,让计算机一步一步的把「给产品经理讲技术」的所有历史文章,保存成pdf。

  历史文章哪里去找?正好,微信公众号的关注界面有一个查看历史消息的链接。

  点开历史消息,这个页面每次显示10篇文章,如果用户滑到底,就会再加载10篇出来,典型的异步加载。我们要找的,就是每篇文章的URL地址。只要找到所有文章的URL,就能下载到每篇文章的内容和图片,然后就可以进一步加工处理成pdf了。

  为此,我们长按页面选择在浏览器中打开,然后把地址栏里的URL复制出来,发送到电脑上,用Chrome打开。用Chrome的最大好处,就是它有一个「开发人员工具」,可以直接查看网页的源码。按下command+option+L,打开开发人员工具,就能看到这个网页的源码了。我们要找的东西,就藏在这些乱七八糟的HTML代码里。

  如何从HTML源码里找到我们想要的文章链接呢?

  这要从HTML的结构说起。HTML全称超文本标记语言,所谓标记,就是说是它通过很多标签来描述一个网页。你看到很多像以开始,以结束的标志,就是标签。这些标签一般成对出现,标签里面还可以套标签,表示一种层级关系。最外面的html标签是最大的,head、body次之,一层一层下来,最后才是一段文字,一个链接。你可以把它类比成一个人,这个人叫html,有head,有body,body上有hand,hand上面有finger。

  扯远了,一些常用的标签:

  1、<head>。一个网页的很多重要信息,都是在这里声明的。比如说标题,就是在<head>下的<title>里定义的。一个网页用到的CSS样式,可以在<head>下的<style>里定义。还有你写的JavaScript代码,也可以在<head>下的<script>里定义。

  2、<body>。它包含的东西就多了,基本上我们能看到的东西,一段文字,一张图片,一个链接,都在这里面。比如说:

  <p>表示一个段落

  <h1>是一段文字的大标题

  <a>表示一个链接

  <img>表示一张图

  <form>是一个表单

  <div>是一个区块

  计算机是如何理解HTML的标签的呢?其实很简单,它就是一棵树。你可以把<html>当做树根,从树根上分出<head>和<body>,各个分支上又有新的分支,直到不能再分为止。这有点类似我们电脑上存放的文件。假设你有一本《21天学习C++》的电子书,存在D盘、study文件夹下的CS文件夹里。而study文件夹里除了CS文件夹,还有GRE、岛国文化等目录,代表着另一个分支体系。这也是一棵树。树上的每一片叶子,都有一条从根部可以到达的路径,可以方便计算机去查找。

  回到正题,有了这些基础知识,我么再来看微信这个历史消息页面。从最外层的<html>标签开始,一层一层展开,中间有<body>、有<div>、最后找到一个<a>标签,标签里面的hrefs就是每篇文章的URL了。把这个URL复制下来,在新的TAB打开,确认确实是文章的地址。

  现在我们通过分析一个网页的结构、标签,找到了我们想要的文章URL,我们就可以写爬虫去模拟这个过程了。爬虫拿到网页之后,我们可以用正则表达式去查找这个<a>标签,当然,也可以用一些更高级的手段来找。
柯安侑惠玲road
2017-01-11 · 超过247用户采纳过TA的回答
知道小有建树答主
回答量:447
采纳率:100%
帮助的人:231万
展开全部
不管是自己写不写代码,都可以试一试前嗅的ForeSpider爬虫。因为ForeSpider数据采集系统是可视化的通用性爬虫,如果不想写代码,可以通过可视化的方式爬取数据。 对于一些高难度的网站,反爬虫措施比较多,可以使用ForeSpider内部自带的爬虫脚本
已赞过 已踩过<
你对这个回答的评价是?
评论 收起
数阔八爪鱼采集器丨RPA机器人
2021-06-23 · 前往八爪鱼RPA应用市场,免费获取机器人
数阔八爪鱼采集器丨RPA机器人
向TA提问
展开全部

有些工具可以不用写采集规则或定制采集规则,不需要自己写,很方便

已赞过 已踩过<
你对这个回答的评价是?
评论 收起
收起 更多回答(1)
推荐律师服务: 若未解决您的问题,请您详细描述您的问题,通过百度律临进行免费专业咨询

为你推荐:

下载百度知道APP,抢鲜体验
使用百度知道APP,立即抢鲜体验。你的手机镜头里或许有别人想知道的答案。
扫描二维码下载
×

类别

我们会通过消息、邮箱等方式尽快将举报结果通知您。

说明

0/200

提交
取消

辅 助

模 式