Question

网站上的历史数据可以通过爬虫获取吗？

Answer 1

首先了解下网络爬虫的基本工作流程：

1.先选取一部分精心挑选的种子URL；

2.将这些URL放入待抓取URL队列；

3.从待抓取URL队列中取出待抓取在URL，解析DNS，并且得到主机的ip，并将URL对应的网页下载下来，存储进已下载网页库中。此外，将这些URL放进已抓取URL队列。

4.分析已抓取URL队列中的URL，分析其中的其他URL，并且将URL放入待抓取URL队列，从而进入下一个循环。

由此可见，你要的数据要通过URL进行传递，如果URL无效，通过一般正常的手段是基本获取不到数据的。所以基本上只要是人无法看到的东西就可以默认为无法获取到。

Answer 2

可以通过爬虫获取网站上的历史数据。八爪鱼采集器是一款功能全面、操作简单、适用范围广泛的互联网数据采集器，可以帮助用户快速抓取互联网上的各种数据，包括历史数据。通过设置合适的采集规则，八爪鱼采集器可以自动访问网页并抓取历史数据，帮助用户获取所需的信息。了解更多八爪鱼采集器的功能与合作案例，请前往官网了解更多详情。