大数据未来的发展前景怎么样?
随着信息技术和人类生产生活交汇融合,全球数据呈现爆发增长、海量集聚的特点。无论是国家、企业还是社会公众,都越来越认识到数据的价值。因此,近年来,各地纷纷成立大数据发展局,企业纷纷推动数据资产治理,大数据辐射的行业也从传统的电信、金融逐渐扩展到工业、医疗、教育等。一时间,仿佛各行各业都在谈大数据,人人都在谈大数据。但也有声音说大数据迎来了“七年之痒”,面对大数据热潮也需要一些“冷思考”。我国大数据究竟发展得如何?未来我国大数据发展还有哪些机遇和挑战?
1、大数据产业进展显著
过去几年,大数据理念已经深入人心,“用数据说话”已经成为所有人的共识,数据也成了堪比石油、黄金、钻石的战略资源。五年来,我国大数据产业政策日渐完善,技术、应用和产业都取得了非常明显的进展。
在政策方面,我国从中央到地方的大数据政策体系已经基本完善,目前已经进入落地实施阶段。自从2014年“大数据”这个词写入政府工作报告以来,我国大数据发展的政策环境掀开了全新的篇章。在顶层设计上,国务院《促进大数据发展行动纲要》对政务数据共享开放、产业发展和安全三方面做了总体部署。《政务信息资源共享管理暂行办法》《大数据产业发展规划(2016-2020)》等文件也都已经出台。十九大报告中提出“推动大数据与实体经济深度融合”,“十三五”规划中提出“实施国家大数据战略”。卫健、农业、环保、检察、税务等部门还出台了领域大数据发展的具体政策。截至2019年初,所有省级行政区都发布了大数据相关的发展规划,十几个省市设立了大数据管理局,8个国家大数据综合试验区、11个国家工程实验室启动建设。可以说,大数据的政策体系已经基本搭建完成,目前已经纷纷进入落地实施甚至评估检查阶段。
在技术方面,我国大数据技术发展属于“全球第一梯队”,但国产核心技术能力严重不足。我国独有的大体量应用场景和多类型实践模式,促进了大数据领域技术创新速度和能力水平,处于国际领先地位。在技术全面性上,我国平台类、管理类、应用类技术均具有大面积落地案例和研究;在应用规模方面,我国已经完成大数据领域的最大集群公开能力测试,达到了万台节点;在效率能力方面,我国大数据产品在国际大数据技术能力竞争平台上也取得了前几名的好成绩;在知识产权方面,2018年我国大数据领域专利公开量约占全球的40%,位居世界第二。但我国大数据技术大部分为基于国外开源产品的二次改造,核心技术能力亟待加强。例如,目前国内主流大数据平台技术中,自研比例不超过10%。
在产业方面,我国大数据产业多年来保持平稳快速增长,但面临提质增效的关键转型。2018年,我国大数据产业延续多年来的增速,继续保持相对高速的增长。根据中国信息通信研究院的测算,2018年我国大数据产业整体规模有望达到5400亿元,同比增长15%。然而,综合国内外环境、新兴技术发展等多种因素,大数据产业的增速出现了下滑。我国的大数据产业也面临着从高速发展向高质量发展的关键转型期。
在应用方面,大数据的行业应用更加广泛,正加速渗透到经济社会的方方面面。随着大数据工具的门槛降低以及企业数据意识的不断提升,越来越多的行业开始尝到大数据带来的“甜头”。无论是从新增企业数量、融资规模还是应用热度来说,与大数据结合紧密的行业正在从传统的电信业、金融业扩展到政务、健康医疗、工业、交通物流、能源行业、教育文化等,行业应用“脱虚向实”趋势明显,与实体经济的融合更加深入。
2、产业的五大困局
虽然我国大数据总体发展形势良好,也面临难得的发展机遇,但仍然存在一些困难和问题。
一是,涉及核心技术的产业发展薄弱,未能有效提升我国核心技术竞争力。核心技术的影响力在大数据产业有着极高的重要性。由于大数据企业在完成产品开发后,可以近乎零成本无限制的复制,因此拥有核心技术的大企业,很容易将技术优势转化为市场优势,即凭借具体的信息产品赢得海量用户获得垄断地位。当前,从大数据技术与产品的供给侧看,我国虽然在局部技术实现了单点突破,但大数据领域系统性、平台级核心技术创新仍不多见。大数据处理工具都是“他山之石”,大部分企业用的都是国外的数据采集、数据处理、数据分析、数据可视化技术,自主核心技术突破还有待时日。尤其是开源产品的技术标准方面,我国的影响力尚亟待提升。
二是,数据孤岛和壁垒降低了大数据产业资源配置效率。大数据产业发展必须实现数据信息的自由流动和共享,如果数据不开放、不共享,数据整合就不能实现,数据价值也会大大降低。无论是政府数据、互联网数据还是其他数据,数据拥有者往往不愿对其进行开放流通。受制于前期信息基础设施建设,目前我国政府数据往往还存在着诸多“数据孤岛”和“数据烟囱”,数据价值难以发挥。
三是,数据安全管理薄弱增加了大数据产业的发展风险。大数据技术为经济社会发展带来创新活力的同时,也使数据安全、个人信息保护乃至大数据平台安全等面临新威胁与新风险。海量多源数据在大数据平台汇聚,来自多个用户的数据可能存储在同一个数据池中,并分别被不同用户使用,极易引发数据泄露风险。利用大数据技术对海量数据(21.90 -5.19%,诊股)进行挖掘分析所得结果可能包含涉及国家经济社会等各方面的敏感信息,需要对分析结果的共享和披露加强安全管理。
四是,产业垄断与恶性竞争现象频发,“劣币驱逐良币”现象明显。由于资源型产业门槛低、利润高,新兴的大数据企业往往首先将目光盯在获取数据资源上面。大量依托数据资源优势的企业诞生,为大数据产业带来了低附加值的垄断经济模式,使得依靠技术壁垒打江山的企业不得不面对残酷的市场竞争,放缓了技术研发的步伐。同时,数据垄断问题也愈发明显。少数互联网巨头企业拥有巨大数据,不但对产业发展不利,甚至存在巨大的数据聚集隐患。
五是,各地发展同质化严重,普遍存在重存储轻应用的现象。由于缺乏统一的大数据产业分类统计体系和产业运行监测手段,各地大数据产业的定位相似,同质化竞争加剧。而盲目的重复建设,更是可能导致大数据产业过剩。同时,由于部分地区信息化发展程度有限,大数据应用场景不够丰富,更是以数据中心等大数据存储设施的建设作为发展大数据产业的关键,且规模巨大,目标动辄以百万台计,后期若无法有效利用,将造成巨大的资源浪费。
3、未来三年大数据行业展望
未来三年,是我国大数据发展转型的重要机遇期。大数据的发展本身也呈现着一些趋势。在我看来,未来三年大数据行业有可能会呈现出如下特点:
一是,大数据新技术继续快速发展。未来大数据技术将会沿着工具平台云化部署、多业务场景统一处理、专有高性能硬件适配几个方面进行突破。目前大数据技术工具的主要应用模式为应用企业在自建机房内独立部署,其存在资源浪费、弹性能力不足、管理复杂等缺点,这些缺陷可以通过基于云计算技术的云化部署方案解决,助力大数据技术工具的快速落地和应用;同时大数据技术工具主要瞄准的是分析型业务场景,但随着电子商务以及智能终端的爆发性发展,转账、计费等事务型业务场景也需要大数据处理能力,所以未来的多业务场景统一处理技术将会得到充分发展;最后由于GPU/TPU等专用硬件的发展,此类专用硬件能够助力某些大数据技术进行突破性升级,所以对新型硬件的适配成为很多大数据企业未来研发计划的重点。
二是,数据流通共享将迎来关键突破。这些年,推动数据开放共享的政策举措一直在加强,然而效果与预期还有差距。可以说,技术手段将是数据流通共享瓶颈突破的关键。未来三年,随着同态加密、差分隐私、零知识证明、量子账本等关键技术的性能提升和门槛降低,随着区块链、安全多方计算等工具与数据流通场景进一步紧密结合,数据共享和流通将有望再前进一大步。
三是,数据服务合规性将成为行业关注重点。近两年来,随着欧盟《通用数据保护条例》(GDPR)的颁布和正式实施,个人信息保护的重视程度被提到了前所未有的高度。GDPR对数据主体的权利规定细致入微,其“数据可携权”“被遗忘权”等方面的规定可能会对我国数据立法带来一定的参考。对我国企业来说,数据服务合规性的重要程度进一步提升,将对企业业务开展带来重大影响。目前中国信息通信研究院正在着力推动的“可信数据服务”计划也正是契合了行业的这一需求。
四是,数据资产管理重要性将进一步提升。随着大数据应用进入深水区,企业将越来越重视数据资产管理方法论体系建设——即从架构、标准、研发、质量、安全、分析到应用的统一,从而实现技术到业务价值的转化和变现。未来三年,数据资产管理将仍是企业数据部门面临的难点与挑战。即使是领先的科技型企业,在数据资产管理这一课题上仍在不断探索新的方法,如全链路智能管理体系、数据资产的贡献度、数据基线度量与质量规范的工具化、可视化等。
4、四大应对策略
大数据产业作为具有国家战略意义的新兴产业,在发展初期不仅要充分发挥企业的主体作用和有效市场的主导作用,而且要更好发挥政府的引导作用。
一是,要加强核心技术攻关与产业化推动。自主研发创新是提高大数据产业竞争力的主引擎。要彻底改变目前我国大数据产业创新能力不强、关键核心技术对外依赖度偏高的这一局面,必须抓住重点领域、关键环节和核心问题,找准着力点和突破口,加大政府财政资金的引导支持力度。为此,建议在国家层面上设立大数据重点领域的关键技术研发创新的国家财政专项资金,支持突破一批关键核心技术研发创新与应用,构建具有核心技术自主权的大数据产业链,形成自主可控的大数据技术架构,提高关键核心技术的自主研发创新能力,有效破解制约产业发展的瓶颈。
二是,完善大数据安全政策。需要开展数据确权、资产管理、市场监管、跨境流动等数据治理的重大问题研究,协调有关部门共同推进数据治理的法制化进程,加强对敏感政务数据、企业商业秘密和个人数据的保护。同时,推动完善适用于大数据环境下的信息安全等级保护制度,建立兼顾安全与发展的数据管理和保障体系,加强数据安全评测、安全防范、应急处置等相关机制建设。此外,还要强化网络空间的安全信息共享与动态感知能力,提高重大风险识别分析水平。
三是,鼓励地方因地制宜发展大数据产业。大数据产业发展应注重差异化发展,形成差异化的产业布局。地方需要差异化发展,应该把大数据的发展重心放在因地制宜地促进应用创新上,放在打造完善的发展环境上,让市场在大数据发展要素配置上起决定作用。各地要结合产业基础和优势特色,着重发展大数据特色场景应用,推动大数据与当地重要实体经济行业加快融合。
四是,推动行业加快大数据标准建设。当前大数据产业应用层出不穷,政府应通过标准化的途径规范行业、整合资源,促进各方达成共识,为大数据产业的健康发展提供基石。尤其是通过加强快速迭代、市场认可度高的行业/团体标准研制工作,为用户企业提供大数据产品选型指导,为数据安全提供保障,促进大数据交易等新兴服务模式规范发展,对推动我国大数据产业进程具有重要意义。
从我国数据产量和存量来看,广东、北京、浙江、江苏、上海、等地区数据资源较为丰富,东部地区数据产量和存量均高于西部地区。从省际数据流量来看,东部地区月均互联网省际出口总流量占全国比重超过一半。
在以北上广为代表的东部地区数据资源丰富的背景下,其大数据产业发展水平快于其他地区省份。其中,北上广大数据企业数量占全国比重近70%,广东和北京大数据发展水平较高。
东部地区数据产量整体高于西部,省际数据流量远高于其他地区
2019年,我国数据产量总规模为3.9ZB。从数据产量的地区分布看,2019年全国数据产量排名前十位的省份为广东、北京、浙江、江苏、上海、山东、四川、河南、河北和湖南。
从人均数据产量来看,2019年人均数据产量排名前十位的省份分别是北京、上海、浙江、天津、广东、内蒙古、西藏、海南、江苏和辽宁。整体来看,东部地区数据产量和人均数据产量均高于西部地区。
2019年,我国月均互联网省际出口流量各省份均值为3EB。其中,排名前十位的省份是江苏、山东、广东、浙江、河北、河南、上海、湖北、湖南和福建。东部地区月均互联网省际出口总流量为49.9EB,占全国的53.7%,远超其他地区。
东部地区数据存量大,西部、西北地区数据存量较少
截至2019年底,我国数据总存量约为332EB。从数据存储的区域分布看,截至2019年底,全国数据存量排名前十位的省份为广东、北京、江苏、山东、浙江、四川、河南、上海、河北和湖北。从数据存储密度看,截至2019年底我国总体数据密度为0.035PB/平方公里,排名前十位的省份是上海、北京、天津、广东、江苏、浙江、山东、河南、重庆和河北。
总体来看,我国数据存量区域分布情况与产量一致,主要集中于东部和中部地区部分省份,西部、西北地区数据存量较少。
北上广大数据企业数量领先,各省市大数据发展水平差异较为显著
根据中国信通院统计,我国大数据企业主要分布在北京、广东、上海、浙江等经济发达、数据资源丰富的省份。其中,北京大数据产业实力雄厚,大数据企业数量约占全国总数的35%。
依托京津冀大数据综合试验区,天津、石家庄、廊坊、张家口、秦皇岛等地大数据产业蓬勃发展,在信息产业领域形成了竞争优势。此外,广东、上海、浙江等地区数据产量及存量较大,大数据企业分布较多。
根据《中国大数据区域发展水平评估白皮书(2020年)》评估结果显示,排名首位的为广东省遥遥领先,指数为56.43,高出排名末位的西藏自治区47.05。从指数分布来看,全国各省、市、自治区大致可以分为三个梯队:
第一梯队由广东、北京、江苏、山东、浙江、上海、福建、四川8个省、市组成,这些省市的总指数均高于30;
第二梯队由湖北、安徽、河南等11个省、市组成;
第三梯队由广西、黑龙江等12个省、自治区组成,总指数均小于20,这些地区大数据发展相对滞后,需积极借鉴领先省市的发展经验,加快追赶步伐。
—— 更多数据来请参考前瞻产业研究院《中国大数据产业发展前景与投资战略规划分析报告》
1
评论
分享
举报
热心晓朋友
2021-08-04 · TA获得超过163个赞
关注
大数据对于企业的发展起着至关重要的作用,许多企业业务靠着大数据分析市场需求,制定营销策略,优化生产流程、供应链与物流管理、能源管理、提供智能客户服务等。目前,大数据相关的行业不少,备受关注的也有很多,也都出现在大家的生活中,便利着人们的生活。智能家居、线上医疗、智慧零售等等。未来5年大数据市场将由重基础设施向重应用落地转移,随着数据量的增长,数据治理和模型算法将持续受到关注。政府、金融和电信将保持持续增长的态势,而医疗和新零售将成为下一个大数据技术投入的新领域。
一、智慧医疗
未来,通过大数据,能够推出预测疾病服务,并且能精准到80%。
通过分析全球的基因数据或者病历数据,以及对比各种行为习惯,将各自的健康数据、生命体征指标都集合在数据库和健康档案中结合,通过大数据分析应用能够精准预防一些重大疾病,做到提前治疗和防范。
二、智慧零售
未来,大数据能够帮助零售行业精准定位客户。
一个企业成功与否,最重要的就是精准客户群体或者说资源。如果一家企业想要进人或者去进行某一个零售行业区域的市场开拓,最先要做的就是进行项目评估和可行性分析,消费者群体,消费行为习惯,这些都能够通过数据呈现。
未来,能够通过大数据挖掘零售行业新需求。
大数据行业市场规模保持高速增长
随着互联网技术的快速发展,我国大数据产业也发展迅速。根据中国信息通信研究院对大数据相关企业的调研数据,近年来我国大数据产业规模稳步增长。2016-2019年,短短四年时间,我国大数据产业市场规模由2841亿元增长到5386亿元,增速连续四年保持在20%以上。根据近年来大数据行业市场规模增长态势,2020年大数据行业规模约为6670亿元。
10-100人的小型企业占主导
我国目前大数据领域的企业超3000余家,而超70%的大数据企业为10人至100人规模的小型企业,中小企业在产业蓬勃发展过程中发挥着重要作用。随着全球经济形势的变化和行业政策的实施,大数据中小企业面临的外部市场环境和依托的基础设施也发生重大变化从而影响企业规模分布。
地域上以北上广为主
根据信通院统计,我国大数据企业主要分布在北京、广东、上海、浙江等经济发达省份。受政策环境,人才创新,资金资源等因素影响,北京大数据产业实力雄厚,大数据企业数量约占全国总数的35%。
广东和上海市场环境开放,产业布局上以科技创新为重点,大数据相关企业布局较多,广东省大数据企业数量占比为18%,上海市占比为16%。
行业应用领域丰富
根据信通院对行业大数据应用相关企业统计整理。下图显示出行业大数据应用企业涉及的行业分布。从图中可以看出,金融、医疗健康、政务是大数据行业应用的最主要类型。除此之外依次是互联网、教育、交通运输、电子商务、供应链与物流、农业、工业与制造业、体育文化、环境气象、能源行业。
企业服务为主要融资领域
从融资细分领域分布来看,大数据行业融资企业分布在近20个领域,大数据行业迎来历史新机遇,在企业服务、医疗健康、金融等垂直细分领域的大数据应用展现出巨大潜力。大数据产业增量蓝海市场正在逐步打开,截止到2019年,企业服务领域的企业获投占比最高62%,金融行业次之为13%,健康医疗为8%。随着互联网与移动互联网的进一步普及渗透,以及IT基础设施的逐步完善,企业服务市场仍将继续扩大。
1、大数据开发工程师,大数据开发主要是基于大数据服务平台,很多大中型业务应用包括企业级应用和各类网站。能够进行构建大数据应用程序平台和开发分析应用程序。
2、大数据分析师,大数据分析师主要负责数据挖掘,使用Hive,Hbase等技术,专门为从事行业数据收集、整理、分析和基于数据的专业人士进行行业研究、评估和预测。通过使用Spotifre,Qlikview和Tableau等,新数据可视化工具能够实现数据的数据可视化和数据呈现。
它覆盖全行业,应用领域非常广泛,无论是政府政务,还是各行各业,都在探索应用大数据,未来大数据将成为全行业基石。
而且作为新兴行业,不仅人才缺口大,薪资也普遍偏高的,由于业内大牛还很稀缺,从业者不多,想入行要趁早,机遇机会也会更多些