容量非常大的数据称为大数据通常我们处理的数据大小为MB(WordDoc,Excel)或最大GB(电影,代码),但Peta字节(即10 ^ 15字节)的数据称为大数据据说今天的数据几乎有90%是在过去3年中生成的,下面我们就来聊聊关于不带手机可以躲避大数据吗?接下来我们就一起去了解一下吧!

不带手机可以躲避大数据吗(什么是大数据)

不带手机可以躲避大数据吗

容量非常大的数据称为大数据。通常我们处理的数据大小为MB(WordDoc,Excel)或最大GB(电影,代码),但Peta字节(即10 ^ 15字节)的数据称为大数据。据说今天的数据几乎有90%是在过去3年中生成的。

大数据来源

这些数据来自许多来源,例如

3V大数据

  1. 速度:数据以非常快的速度增长。据估计,数据量将每两年增加一倍。
  2. 种类:现在,天数据不再存储在行和列中。数据是结构化的还是非结构化的。日志文件,CCTV素材是非结构化数据。可以保存在表中的数据是结构化的数据,例如银行的交易数据。
  3. 数量: 我们处理的数据量非常大,超过了Peta字节。

用例

一家电子商务网站XYZ(拥有1亿用户)希望为其前一年消费最多的前10位客户提供100美元的购物券,此外,他们还希望了解这些客户的购买趋势,以便公司可以建议与他们相关的更多商品。

问题

需要存储,处理和分析的大量非结构化数据。

解决方案

存储: Hadoop使用海量HDFS(Hadoop分布式文件系统),该海量数据使用商品硬件形成集群并以分布式方式存储数据。它遵循一次写入,多次读取的原理。

处理:将 Map Reduce范式应用于通过网络分发的数据,以查找所需的输出。

分析:猪,蜂巢可用于分析数据。

成本: Hadoop是开源的,因此成本不再是问题。

,