大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。大数据技术,是指从各种各样类型的数据中,快速获得有价值信息的能力。适用于大数据的技术,包括大规模并行处理(MPP)数据库,数据挖掘电网,分布式文件系统,分布式数据库,云计算平台,互联网,和可扩展的存储系统。

大数据定义

大数据由巨型数据集组成,这些数据集大小常超出人类在可接受时间下的收集、庋用、管理和处理能力。大数据的大小经常改变,截至2012年,单一数据集的大小从数太字节(TB)至数十兆亿字节(PB)不等。

究竟什么是大数据(什么是大数据)(1)

大数据特点具体来说,大数据具有4个基本特征:

一是数据体量巨大。百度资料表明,其新首页导航每天需要提供的数据超过1.5PB(1PB=1024TB),这些数据如果打印出来将超过5千亿张A4纸。有资料证实,到目前为止,人类生产的所有印刷材料的数据量仅为200PB。

二是数据类型多样。现在的数据类型不仅是文本形式,更多的是图片、视频、音频、地理位置信息等多类型的数据,个性化数据占绝对多数。

三是处理速度快。数据处理遵循“1秒定律”,可从各种类型的数据中快速点击文档链接,可查看更多信息获得高价值的信息。

四是价值密度低。以视频为例,一小时的视频,在不间断的监控过程中,可能有用的数据仅仅只有一两秒。

马云说:未来的时代将不是IT时代,而是DT(Data Technology)的时代,最大的能源是数据!现如今,医疗、能源、通信、零售、金融、体育、游戏、影视、旅游、交通行业等各行业都离不开大数据,大数据从采集、传输、存储、分析等各个环节产生巨大的经济价值,因其广泛的应用而迅猛发展。

,