随着移动互联网、物联网、5G技术的普及,大数据采集、存储、治理和应用的场景越来越多,大数据的特征相比早些年也有了一些变化,以下是我整理的新时期下大数据的一些特征:

大数据分析主要有啥(大数据4V特征详细解读)(1)

大数据4V解读

一、数据体量特别巨大(Volume)

数据体量是大数据区分于传统业务数据最显著的特征。随着新的数字技术的高速发展,大量自动或人工产生的数据通过互联网聚集到特定地点,包括电信运营商、互联网运营商、政府、银行、商场、企业、交通枢纽等机构,形成了大体量的数据,移动互联网的核心网络节点是人,人人都是数据制造者,文章、照片、短视频都是其数据产品;数据来自无数自动化传感器、自动记录设施、生产监测、环境监测、交通监测、安防监测等;来自自动流程记录,刷卡机、收款机、电子不停车收费系统,互联网点击等,数据开始爆发性增长,存储单位从过去的GB到TB,乃至现在的PB、EB、ZB级别。

二、数据类型多(Variety)

早期的数据类型以结构化、半结构化为主,随着物联网、5G技术的普及,为非结构化数据的大量产生奠定了技术基础,类型多主要体现在三个方面:

1)数据来源多,企业所面对的传统数据主要是交易数据,而互联网和物联网的发展,带来了诸如社交网站、传感器等多种来源的数据。由于数据来源于不同的应用系统和不同的设备,决定了大数据形式的多样性,大体上可以分为三类:一是结构化数据,如财务系统数据、信息管理系统数据、医疗系统数据等,其特点是数据间因果关系强;二是非结构化数据,如视频、图片、音频等,其特点是数据间没有因果关系;三是半结构化数据,如HTML文档、邮件、网页等,其特点是数据间的因果关系弱。

2)数据类型多,且以非结构化数据为主。传统的企业中,数据都是以表格的形式保存的。而大数据中有70%-85%的数据是如图片、音频、视频、网络日志、链接信息等非结构化和半结构化的数据。

3)数据之间关联性强,频繁交互,如游客在旅游途中上传的照片、视频、日志,与游客的位置、行程等信息有很强的关联性。

自然语言也是一个新的数据来源,而且也是一种更复杂、更多样的数据,它包含诸如省略、指代、更正、重复、强调、倒序等大量的语言现象,还包括噪声、含混不清、口头语和音变等语音现象。

多类型的数据对数据的处理能力提出了更高的要求。

三、数据快速度(Velocity)

快速度是大数据处理技术和传统的数据挖掘技术最大的区别。大数据是一种以实时数据处理、实时结果导向为特征的解决方案,它的“快”有两个层面。

1)数据产生得快。有的数据是爆发式产生,例如,欧洲核子研究中心的大型强子对撞机在工作状态下每秒产生PB级的数据;有的数据是涓涓细流式产生,但是由于用户众多,短时间内产生的数据量依然非常庞大,例如,点击流、短视频、人造购物节(双11)产生的订单数据、日志、射频识别数据、GPS(全球定位系统)位置信息。

2)数据处理得快。正如水处理系统可以从水库调出水进行处理,也可以处理直接对涌进来的新水流。大数据也有批处理(“静止数据”转变为“正使用数据”)和流处理(“动态数据”转变为“正使用数据”)两种范式,以实现快速的数据处理。

四、数据价值性(Value)

政府、企业拥有大量的数据,但是发挥价值的仅是其中非常小的部分。大数据背后潜藏的价值巨大。由于大数据中有价值的数据所占比例很小,而大数据真正的价值体现在从大量不相关的各种类型的数据中,挖掘出对未来趋势与预测分析有价值的数据,并通过机器学习方法、人工智能方法或数据挖掘方法深度分析,并运用于农业、金融、医疗等各个领域,以期创造更大的价值。

综上所述,大家对大数据的特征有了一个整体的了解,如何高效处理如此快速、海量的大数据,对人类的数据驾驭能力提出了新的挑战,涉及到的知识领域包括对业务的深入理解、大数据战略、大数据组织架构和人才的培养、数据治理、流批一体的大数据技术架构、大数据价值变现等,我个人也正在数字营销领域不断地探索,同时也希望大家共同探讨学习。

最后,我想说:大数据为人们获得更为深刻、全面的洞察能力提供了前所未有的空间与想象力。

,