大数据是什么意思?
2023-04-03 · 百度认证:重庆猪八戒网络有限公司官方账号
大数据(英语:Bigdata),又称为巨量资料,指的是在传统数据处理应用软件不足以处理的大或复杂的数据集的术语。
大数据也可以定义为来自各种来源的大量非结构化或结构化数据。从学术角度而言,大数据的出现促成广泛主题的新颖研究。这也导致各种大数据统计方法的发展。大数据并没有统计学的抽样方法;它只是观察和追踪发生的事情。因此,大数据通常包含的数据大小超出传统软件在可接受的时间内处理的能力。由于近期的技术进步,发布新数据的便捷性以及全球大多数政府对高透明度的要求,大数据分析在现代研究中越来越突出。
应用:
大数据的应用示例包括大科学、RFID、感测设备网络、天文学、大气学、交通运输、基因组学、生物学、大社会数据分析、互联网文件处理、制作互联网搜索引擎索引、通信记录明细、军事侦查、金融大数据,医疗大数据,社交网络、通勤时间预测、医疗记录、照片图像和影像封存、大规模的电子商务等。
1.大型强子对撞机中有1亿5000万个传感器,每秒发送4000万次的数据。实验中每秒产生将近6亿次的对撞,在过滤去除99.999%的撞击数据后,得到约100次的有用撞击数据。
将撞击结果数据过滤处理后仅记录0.001%的有用数据,全部四个对撞机的数据量复制前每年产生25拍字节(PB),复制后为200拍字节。
如果将所有实验中的数据在不过滤的情况下全部记录,数据量将会变得过度庞大且极难处理。每年数据量在复制前将会达到1.5亿拍字节,等于每天有近500艾字节(EB)的数据量。这个数字代表每天实验将产生相当于500垓(5×1020)字节的数据,是全世界所有数据源总和的200倍
2.大数据产生的背景离不开Facebook等社交网络的兴起,人们每天通过这种自媒体传播信息或者沟通交流,由此产生的信息被网络记录下来,社会学家可以在这些数据的基础上分析人类的行为模式、交往方式等。美国的涂尔干计划就是依据个人在社交网络上的数据分析其自杀倾向,该计划从美军退役士兵中拣选受试者,透过Facebook的行动app收集资料,并将用户的活动数据传送到一个医疗资料库。收集完成的数据会接受人工智能系统分析,接着利用预测程序来即时监视受测者是否出现一般认为具伤害性的行为。
3.运用数据挖掘技术,分析网络声量,以了解客户行为、市场需求,做营销策略参考与商业决策支持,或是应用于品牌管理,经营网络口碑、掌握负面事件等。如电信运营商透过品牌的网络讨论数据,即时找出负面事件进行处理,减低负面讨论在网络扩散后所可能引发的形象危害。又如具有大量商店交易数据的第三方服务业者(Third-partyServiceProviders,TSP)可以集成手中交易数据、公开的顾客评论数据(例如:GoogleMap评论)、法院的店家诉讼数据等,评估与预测店家运营情形,进一步进行商业顾问服务。
1. 数据量:大数据通常指的是海量的数据,其数量级可以达到PB(Petabyte)或EB(Exabyte)级别。
2. 多样性:大数据不仅包括结构化数据,还包括半结构化和非结构化的各种类型的数据,如文本、图像、音频、视频等。
3.时效性:大部分大数据都是实时产生并流动着的,需要及时采集、存储和分析。
4. 复杂性:大部分大数据都具有复杂性,需要通过高级算法和技术进行挖掘和分析。
5.价值性:通过对大数据进行挖掘和分析,可以发现其中蕴含的商业价值和科学价值,并为决策提供支持。