桌面软件数据采集有哪些好方法呢?

 我来答
司晨璐50
2019-08-20 · TA获得超过1909个赞
知道小有建树答主
回答量:1421
采纳率:59%
帮助的人:46.2万
展开全部
一、软件接口方式
各个软件厂商提供数据接口,实现数据采集汇聚。
二、开放数据库方式
实现数据的采集汇聚,开放数据库是最直接的一种方式。
两个系统分别有各自的数据库,同类型的数据库之间是比较方便的:
1. 如果两个数据库在同一个服务器上,只要用户名设置的没有问题,就可以直接相互访问,需要在from后将其数据库名称及表的架构所有者带上即可。
select * from DATABASE1.dbo.table1
2. 如果两个系统的数据库不在一个服务器上,建议采用链接服务器的形式处理,或者使用openset和opendatasource的方式,这个需要对数据库的访问进行外围服务器的配置。
三、基于底层数据交换的数据直接采集方式
101 异构数据采集技术是通过获取软件系统的底层数据交换、软件客户端和数据库之间的网络流量包,基于底层IO请求与网络分析等技术,采集目标软件产生的所有数据,将数据转换与重新结构化,输出到新的数据库,供软件系统调用。
技术特点如下:
1. 无需原软件厂商配合;
2. 实时数据采集,数据端到端的响应速度达秒级;
3. 兼容性强,可采集汇聚Windows平台各种软件系统数据;
4. 输出结构化数据,作为数据挖掘、大数据分析应用的基础;
5. 自动建立数据间关联,实施周期短、简单高效;
6. 支持自动导入历史数据,通过I/O人工智能自动将数据写入目标软件;
7. 配置简单、实施周期短。
基于底层数据交换的数据直接采集方式,摆脱对软件厂商的依赖,不需要软件厂商配合,不仅需要投入大量的时间、精力与资金,不用担心系统开发团队解体、源代码丢失等原因导致系统数据采集成死局。
直接从各式各样的软件系统中开采数据,源源不断获取精准、实时的数据,自动建立数据关联,输出利用率极高的结构化数据,让不同系统的数据源有序、安全、可控的联动流通,提供决策支持、提高运营效率、产生经济价值。
百度网友82dd97ac7
2019-11-13
知道答主
回答量:70
采纳率:0%
帮助的人:5.8万
展开全部
采集桌面软件数据不像网页,确实会麻烦一些,
一般都是用找软件厂商做接口的方式,
或者用工具机器人工具小帮,可以采集桌面软件的表格数据和表格详情页数据,
希望能帮到你!
已赞过 已踩过<
你对这个回答的评价是?
评论 收起
长沙博为软件技术股份
2019-08-27 · 博为小帮软件机器人& 医疗影像软件
长沙博为软件技术股份
2003年,留美博士团队在新泽西州创立博为软件前身;2009年博为软件作为长沙市政府重点引入海外高端科技项目落户长沙高新区。专注创新性信息化核心技术研发十余年,逐步发展成国内领先的自动化操
向TA提问
展开全部

第一种:软件接口方式

通过各软件厂商开放数据接口,实现不同软件数据的互联互通。

这是目前最为常见的一种数据对接方式。

实现过程:

Step 1、协调多方软件厂商工程师到场,了解所有系统业务流程以及数据库相关的表结构设计等,细节推敲,确定可行性方案;

Step 2、编码;

Step 3、测试、调试阶段;

Step 4、交付使用。

优势:接口对接方式的数据可靠性与价值较高,一般不存在数据重复的情况;数据可通过接口实时传输,满足数据实时应用要求。

缺点:①接口开发费用高;②需协调多个软件厂商,工作量大且容易烂尾;③可扩展性不高,如:由于新业务需要各软件系统开发出新的业务模块,其和大数据平台之间的数据接口也需做相应修改和变动,甚至要推翻以前的所有数据接口编码,工作量大、耗时长。

除了软件接口,小编也总结了集中常见的数据采集技术,供大家参考:

第二种:软件机器人采集

软件机器人是目前比较前沿的软件数据对接技术,即能采集客户端软件数据,也能采集网站网站中的软件数据。

常见的是博为小帮软件机器人,产品设计原则为“所见即所得”,即不需要软件厂商配合的情况下,采集软件界面上的数据,输出的结果是结构化的数据库或者excel表。

如果只需要界面上的业务数据,或者遇到软件厂商不配合/倒闭、数据库分析困难的情况下, 利用软件机器人采集数据更可取,尤其是详情页数据的采集功能比较有特色。

值得一提的是,小帮软件机器人的使用门槛很低与费用相对低,即使没有IT背景的业务人员也能使用,大大拓展了使用的人群。

软件机器人的技术特点如下:

①无需原软件厂商配合;②兼容性强,可采集汇聚Windows平台各种软件系统数据;③输出结构化数据;④即配即用,实施周期短、简单高效;⑤配置简单,不用编程,每个人都可以DIY一个软件机器人;⑥价格相对人工和接口,降低不少。

缺点:采集软件数据的实时性有一定限制。

第三种:网络爬虫

网络爬虫是模拟客户端发生网络请求,接收请求响应,一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。

网络爬虫的原理过程

1、发起请求:通过HTTP库向目标站点发起请求,即发送一个Request,请求可以包含额外的headers、data等信息,然后等待服务器响应。

2、获取响应内容:如果服务器能正常响应,会得到一个Response,Response的内容便是所要获取的内容,类型可能有HTML、Json字符串,二进制数据(图片,视频等)等类型。

3、解析内容:得到的内容可能是HTML,可以使用正则表达式,网页解析库进行解析。也可能是Json,可以直接转为Json对象解析。可能是二进制数据,可以做保存或者进一步处理。这一步相当于浏览器把服务器端的文件获取到本地,再进行解释并且展现出来。

4、保存数据:保存的方式可以是把数据存为文本,也可以把数据保存到数据库,或者保存为特定格式的文件。

爬虫采集数据的缺点:①输出数据多为非结构化数据;②只能采集网站数据,容易受网站反爬机制影响;③使用人群狭窄,需要有专业编程知识才能玩转。

第四种:开放数据库方式

数据的采集融合,开放数据库是最直接的一种方式。

每个软件系统有各自的数据库,而同类型的数据库之间数据融合是比较方便的:

1. 如果两个数据库在同一个服务器上,只要用户名设置得没有问题,就可以直接相互访问,需要在from后将其数据库名称及表的架构所有者带上即可。

select * from DATABASE1.dbo.table1

2. 如果两个系统的数据库不在一个服务器上,建议采用链接服务器的形式处理,或者使用openset和opendatasource的方式,这个需要对数据库的访问进行外围服务器的配置。

3、不同类型的数据库之间的连接就比较麻烦了,需要做很多设置才能生效,这里不做详细说明。

优势:开放数据库方式可以直接从目标数据库中获取需要的数据,准确性高,实时性也有保证,是最直接、便捷的一种方式。

缺点:开放数据库方式也需要协调各软件厂商开放数据库,这需要看对方的意愿,一般出于安全考虑,不会开放;一个平台如果同时连接多个软件厂商的数据库,并实时获取数据,这对平台性能也是巨大挑战。

以上便是常用的4种数据采集方式,各有优势,适合不同的应用场景。

欢迎大家一起讨论。小帮软件机器人平台,是一个专注以极简软件自动化技术,辅助减轻工作生活中的重复劳动的,互联网软件机器人平台。

已赞过 已踩过<
你对这个回答的评价是?
评论 收起
月半四木Ft
2019-08-20 · 超过11用户采纳过TA的回答
知道答主
回答量:677
采纳率:11%
帮助的人:50.4万
展开全部
旅途我模棱两可可口可乐可口可乐看看可口可乐旅途看看具体来解决可口可乐看看记录了记录可口可乐来解决旅途旅途快乐
已赞过 已踩过<
你对这个回答的评价是?
评论 收起
收起 2条折叠回答
推荐律师服务: 若未解决您的问题,请您详细描述您的问题,通过百度律临进行免费专业咨询

为你推荐:

下载百度知道APP,抢鲜体验
使用百度知道APP,立即抢鲜体验。你的手机镜头里或许有别人想知道的答案。
扫描二维码下载
×

类别

我们会通过消息、邮箱等方式尽快将举报结果通知您。

说明

0/200

提交
取消

辅 助

模 式