简述数据库与数据仓库的需求分析（数据仓库分层中的ODS）

data warehouse（可简写为DW或者DWH）数据仓库，是在数据库已经大量存在的情况下，为了进一步挖掘数据资源、为了决策需要而产生的，它是一整套包括了etl、调度、建模在内的完整的理论体系数据仓库的方案建设的目的，是为前端查询和分析作为基础，主要应用于OLAP（on-line Analytical Processing），支持复杂的分析操作，侧重决策支持，听且提供直观易懂的查询结果比较流行的有：AWS Redshift，Greenplum，Hive等，现在小编就来说说关于简述数据库与数据仓库的需求分析?下面内容希望能帮助到你，我们来一起看看吧!

简述数据库与数据仓库的需求分析

data warehouse（可简写为DW或者DWH）数据仓库，是在数据库已经大量存在的情况下，为了进一步挖掘数据资源、为了决策需要而产生的，它是一整套包括了etl、调度、建模在内的完整的理论体系。数据仓库的方案建设的目的，是为前端查询和分析作为基础，主要应用于OLAP（on-line Analytical Processing），支持复杂的分析操作，侧重决策支持，听且提供直观易懂的查询结果。比较流行的有：AWS Redshift，Greenplum，Hive等。

• 面向主题： 操作型数据库组织面向事务处理任务，而数据仓库中的数据是按照一定的主题域进行组织。 主题是指用户使用数据仓库进行决策时所关心的重点方面，一个主题通过与多个操作型信息系统相关。
• 集成
• 需要对源数据进行加工与融合，统一与综合
• 在加工的过程中必须消除源数据的不一致性，以保证数据仓库内的信息时关于整个企业的一致的全局信息。（关联关系）
• 不可修改
• DW中的数据并不是最新的，而是来源于其他数据源
• 数据仓库主要是为决策分析提供数据，涉及的操作主要是数据的查询
• 与时间相关
• 处于决策的需要数据仓库中的数据都需要标明时间属性

• DW：专门为数据分析设计的，涉及读取大量数据以了解数据之间的关系和趋势
• 数据库：用于捕获和存储数据

数据分层，每个企业根据自己的业务需求可以分成不同的层次，但是最基础的分层思想，理论上数据分为三个层：数据运营层、数据仓库层、数据服务层。基于这个基础分层之上，再提交信息的层次，来满足不同的业务需求。

• ODS：Operation Data Store 数据准备区，也称为贴源层。数据仓库源头系统的数据表通常会原封不动的存储一份，这称为ODS层，是后续数据仓库加工数据的来源。
• ODS层数据的来源方式：
• 业务库
• 经常会使用sqoop来抽取，例如每天定时抽取一次。
• 实时方面，可以考虑用canal监听mysql的binlog，实时接入即可。
• 埋点日志
• 日志一般以文件的形式保存，可以选择用flume定时同步
• 可以用spark streaming或者Flink来实时接入
• Kafka也OK
• 消息队列：即来自ActiveMQ、Kafka的数据等。

DW数据分层，由下到上为DWD，DWB，DWS。

• DWD：data warehouse details 细节数据层，是业务层与数据仓库的隔离层。主要对ODS数据层做一些数据清洗和规范化的操作。 数据清洗：去除空值、脏数据、超过极限范围的
• DWB：data warehouse base 数据基础层，存储的是客观数据，一般用作中间层，可以认为是大量指标的数据层。
• DWS：data warehouse service 数据服务层，基于DWB上的基础数据，整合汇总成分析某一个主题域的服务数据层，一般是宽表。用于提供后续的业务查询，OLAP分析，数据分发等。
• 用户行为，轻度聚合
• 主要对ODS/DWD层数据做一些轻度的汇总。

• ADS：applicationData Service应用数据服务，该层主要是提供数据产品和数据分析使用的数据，一般会存储在ES、mysql等系统中供线上系统使用。
• 我们通过说的报表数据，或者说那种大宽表，一般就放在这里