Question

数据抓取技术能够抓取不是网页版的数据吗？

我们有个仓管的软件，有个统计报表的功能，最近新上了OA系统，领导想在OA上查看这个报表。因为仓管软件的报表只能打印，不能导出，原来有个同事每天把仓管软件的报表数据录入到OA系统中，然后提交给领导查看。现在领导想查看实时数据，问了下OA软件的提供商，他们说需要仓管软件有接口才行，由于仓管软件比较老了，原来开发的公司已经不存在了，没法提供技术支持。就想到能不能直接从软件中提取数据，网上查了下都是网页上的数据抓取，我们的仓管软件不是网页版的，不知道能不能抓？

Answer 1

不是网页版的也没有关系的，101 异构数据采集技术可以解决问题，它不需要软件厂商做接口，直接采集数据，就算原来的厂家不在也没关系啊，采集以后的数据还可以结构化输出，比如领导想看报表，也可以输出报表的，这属于扩展功能了。

Answer 2

自己的数据库可以直接导出数据的，您也可以用数据库语言去导出想要的数据。不需要用采集，因为数据就是在您的库里面的，直接导出就可以

Answer 3

网络爬虫抓取页面信息，提取其中的链接，顺着链接依次爬行，一般深度优先或者广度优先，这样一层一层的抓取，但是网页上的信息可能会涉及版权，如果对方不允许爬虫抓取，robot协议里禁止抓取，或者设置权限为登陆状态才可以，这些都会阻碍爬虫抓取数据。而web页面上的信息，其实是数据库里的数据在网站上的体现，没有体现出来的数据库数据，爬虫是无法抓取的。除非是给一个入口，这样爬虫从入口进去可以抓取数据。
-

Answer 4

实现网页数据抓取是搜索引擎的基本功能之一。每个独立的搜索引擎都有自己的网页抓取程序（spider）。Spider顺着网页中的超链接，连续地抓取网页。被抓取的网页被称之为网页快照。由于互联网中超链接的应用很普遍，理论上，从一定范围的网页出发

Answer 5

你的问题其实就是OA和仓管软件的数据对接问题，客户端软件数据的采集和对接，如果接口做不了的话，你还可以试试101软件接口生成器，采集数据的原理不太一样，是从界面上采集数据，采完存到数据库再输出接口，但是我看你需求描述，应该是适合你的。
原来的软件厂商不在了，接口估计是难了，你可以去试试这个方法，不然就只能用人工做了。