Question

大数据时代下的回归分析面临哪些挑战

大数据时代下的回归分析面临哪些挑战

Answer 1

时每刻产生大量的数据。在此背景下，大数据时代（Big Data Era）将会面临新的挑战。
1、大数据时代的基本特征
所谓大数据，就是人类在生产和生活中产生的海量数据信息。
大数据时代的到来，毫无疑问会给人们带来空前便利。据统计，2010年以互联网为基础所产生的数据比之前所有年份的总和还要多；而且不仅是数据量的激增，数据结构亦在演变。Gartner预计，2012年半结构和非结构化的数据，诸如文档、表格、网页、音频、图像和视频等将占全球网络数据量的85%左右；而且，整个网络体系架构将面临革命性改变。由此，所谓大数据时代已经临。对于大数据时代，目前通常认为有下述四大特征：
第一：数据量大：数据量级已从TB（1012字节）发展至PB乃至ZB，可称海量、巨量乃至超量。
第二：类型繁多：愈来愈多为网页、图片、视频、图像等半结构化和非结构化数据信息。
第三：价值密度低：以视频安全监控为例，连续不断的监控流中，有重大价值者可能仅为一两秒的数据流；360°全方位视频监控的“死角”处，可能会挖掘出最有价值的图像信息。