数据采集有什么难点?

请问,数据采集有什么难点?... 请问,数据采集有什么难点? 展开
 我来答
环球青藤
2021-05-10 · 专注大学生职业技能培训在线教育品牌
环球青藤
环球青藤开设了就业、技能培训、职业资格考试、学历提升、外语培训、留学和兴趣类专业课程、为大学生提供考试/就业双重服务。
向TA提问
展开全部

1、数据量巨大


任何系统,在不同的数据量面前,需要的技术难度都是完全不同的。


如果单纯是将数据采到,可能还比较好完成,但采集之后还需要处理,因为必须考虑数据的规范与清洗,因为大量的工业数据是“脏”数据,直接存储无法用于分析,在存储之前,必须进行处理,对海量的数据进行处理,从技术上又提高了难度。


2、工业数据的协议不标准


互联网数据采集一般都是我们常见的HTTP等协议,但在工业领域,会出现ModBus、OPC、CAN、ControlNet、DeviceNet、Profibus、Zigbee等等各类型的工业协议,而且各个自动化设备生产及集成商还会自己开发各种私有的工业协议,导致在工业协议的互联互通上,出现了极大地难度。


很多开发人员在工业现场实施综合自动化等项目时,遇到的最大问题及时面对众多的工业协议,无法有效的进行解析和采集。


3、视频传输所需带宽巨大


传统工业信息化由于都是在现场进行数据采集,视频数据传输主要在局域网中进行,因此,带宽不是主要的问题。

壹寰(深圳)科技文化有限公司
2021-03-27 广告
要找正规专业的公司,行业口碑也比较重要。更多详尽准确的信息可以找壹寰(深圳)科技文化有限公司。91数据恢复是壹寰(深圳)科技文化有限公司旗下专业数据恢复品牌,91数据恢复专注于勒索病毒数据恢复、勒索病毒数据修复、数据库修复、数据库解密恢复、... 点击进入详情页
本回答由壹寰(深圳)科技文化有限公司提供
数阔八爪鱼采集器丨RPA机器人
2023-07-26 · 前往八爪鱼RPA应用市场,免费获取机器人
数阔八爪鱼采集器丨RPA机器人
向TA提问
展开全部
数据采集的难点主要包括以下几个方面:1. 网站结构复杂:不同网站的页面结构和数据格式可能不同,需要针对每个网站进行不同的采集规则设置。2. 反爬虫机制:为了保护数据安全和防止恶意爬取,很多网站会设置反爬虫机制,如验证码、IP封禁等,增加了数据采集的难度。3. 动态页面和异步加载:一些网站使用了动态页面和异步加载技术,数据可能是通过AJAX或JavaScript动态生成的,需要使用特殊的技术手段进行采集。4. 大规模数据采集:如果需要采集大规模的数据,需要考虑到采集效率和稳定性的问题,如如何提高采集速度、如何处理异常情况等。5. 数据清洗和处理:采集到的数据可能存在噪声、重复、格式不统一等问题,需要进行数据清洗和处理,以便后续的分析和应用。八爪鱼采集器是一款功能全面、操作简单、适用范围广泛的互联网数据采集器。如果您需要采集数据,八爪鱼采集器可以为您提供智能识别和灵活的自定义采集规则设置,帮助您快速获取所需的数据。了解更多八爪鱼采集器的功能与合作案例,请前往官网了解更多详情
已赞过 已踩过<
你对这个回答的评价是?
评论 收起
推荐律师服务: 若未解决您的问题,请您详细描述您的问题,通过百度律临进行免费专业咨询

为你推荐:

下载百度知道APP,抢鲜体验
使用百度知道APP,立即抢鲜体验。你的手机镜头里或许有别人想知道的答案。
扫描二维码下载
×

类别

我们会通过消息、邮箱等方式尽快将举报结果通知您。

说明

0/200

提交
取消

辅 助

模 式