互联网采集数据有哪几种常见的方法?

 我来答
数阔八爪鱼采集器丨RPA机器人
2021-07-30 · 前往八爪鱼RPA应用市场,免费获取机器人
数阔八爪鱼采集器丨RPA机器人
向TA提问
展开全部
通过日志获取数据的,一般是服务器,工程类的,这类型数据一般是人为制定数据协议的,对接非常简单,然后通过日志数据结构化,来分析或监测一些工程类的项目通过JS跟踪代码的,就像GA,百度统计,就属于这一类,网页页尾放一段JS,用户打开浏览网页的时候,就会触发,他会把浏览器的一些信息送到服务器,基于此类数据做分析,帮助网站运营,APP优化。通过API,就像一些天气接口,国内这方面的平台有很多,聚合就是其中一个,上面有非常多的接口。此类的,一般是实时,更新型的数据,按需付费通过爬虫的,就像百度蜘蛛,或类似我们八爪鱼采集器,只要是互联网公开数据均可采集,这类型的产品有好几款,面向不同的人群,各有特色吧。而说能做到智能的,一般来说,也就只有我们这块的智能算法做得还可以一点。(利益相关)比如自动帮你识别网页上的元素,自动帮你加速等。埋点的,其实跟JS那个很像,一般是指APP上的,像神策,GROWINGIO之类的,这种的原理是嵌套一个SDK在APP里面。如果对某项采集需要了解更深再说吧,说白就是通过前端,或自动化的技术,收集数据。
优博讯
2024-11-01 广告
数据采集器是一种电子设备,用于将各种数据(如条形码、RFID标签等)转换为可存储、可编辑的格式,并实时传输到计算机或系统中。数据采集器通常使用手持设备(如盘点机或掌上电脑)进行操作,具有实时采集、自动存储、即时显示、即时反馈、自动处理、自动... 点击进入详情页
本回答由优博讯提供
百度网友940d1e
2019-05-30 · TA获得超过904个赞
知道小有建树答主
回答量:462
采纳率:100%
帮助的人:33.2万
展开全部
目前我国主要采用数字化仪法、航测法和大地测量仪器法采集数据。前两者主要是室内作业采集数据,大地测量仪器法是野外采集数据。
本回答被网友采纳
已赞过 已踩过<
你对这个回答的评价是?
评论 收起
九引居主人遠之ac
2019-05-30
知道答主
回答量:2
采纳率:0%
帮助的人:1.3万
展开全部
hi, 您好。
首先,数据获取分两大类,数据交换购买以及数据采集
数据采集主要又分两大类:
自产(SDK采集、埋点
API采集

SDK采集,核心是提供服务,在基于服务顺带采集部分数据。例如MobTech的ShareSDK,初衷是为了解决分享以及授权登录的功能,然后才是采集数据。这里的难点是思维上的转变以及数据获取上的壁垒攻克。
埋点其实和SDK采集类似,当前其实更趋向无埋点。

爬虫,也即是API采集。根据自己数据仓库需要去请求外部的API。例如基站定位查询、IP查询、微博舆情等等。爬虫的学问也挺多,爬虫Robots协议、反爬虫、投毒等等。

个人建议根据最小可行性方案,然后再去考虑是数据采集还是数据交换购买,再以此制定一些方案等。
Thx
本回答被提问者采纳
已赞过 已踩过<
你对这个回答的评价是?
评论 收起
壬靖琪0jD
2019-05-30 · TA获得超过294个赞
知道小有建树答主
回答量:917
采纳率:41%
帮助的人:209万
展开全部
大圣王无上西天
已赞过 已踩过<
你对这个回答的评价是?
评论 收起
收起 1条折叠回答
收起 更多回答(2)
推荐律师服务: 若未解决您的问题,请您详细描述您的问题,通过百度律临进行免费专业咨询

为你推荐:

下载百度知道APP,抢鲜体验
使用百度知道APP,立即抢鲜体验。你的手机镜头里或许有别人想知道的答案。
扫描二维码下载
×

类别

我们会通过消息、邮箱等方式尽快将举报结果通知您。

说明

0/200

提交
取消

辅 助

模 式