nosql深入 nosql使用

ods系统各个层级

数据分层，每个企业根据自己的业务需求可以分成不同的层次，但是最基础的分层思想，理论上数据分为三个层：数据运营层、数据仓库层、数据服务层。基于这个基础分层之上，再提交信息的层次，来满足不同的业务需求。

2.1数据运营层（ODS）

ODS：Operation Data Store 数据准备区，也称为贴源层。数据仓库源头系统的数据表通常会原封不动的存储一份，这称为ODS层，是后续数据仓库加工数据的来源。

ODS层数据的来源方式：

业务库

经常会使用sqoop来抽取，例如每天定时抽取一次。

实时方面，可以考虑用canal监听mysql的binlog，实时接入即可。

埋点日志

日志一般以文件的形式保存，可以选择用flume定时同步

可以用spark streaming或者Flink来实时接入

kafka也OK

消息队列：即来自ActiveMQ、Kafka的数据等。

2.2数据仓库层（DW）

DW数据分层，由下到上为DWD，DWB，DWS。

DWD：data warehouse details 细节数据层，是业务层与数据仓库的隔离层。主要对ODS数据层做一些数据清洗和规范化的操作。

数据清洗：去除空值、脏数据、超过极限范围的

DWB：data warehouse base 数据基础层，存储的是客观数据，一般用作中间层，可以认为是大量指标的数据层。

DWS：data warehouse service 数据服务层，基于DWB上的基础数据，整合汇总成分析某一个主题域的服务数据层，一般是宽表。用于提供后续的业务查询，OLAP分析，数据分发等。

用户行为，轻度聚合

主要对ODS/DWD层数据做一些轻度的汇总。

2.3数据服务层/应用层（ADS）

ADS：applicationData Service应用数据服务，该层主要是提供数据产品和数据分析使用的数据，一般会存储在ES、mysql等系统中供线上系统使用。

我们通过说的报表数据，或者说那种大宽表，一般就放在这里

ods系统主要有三个层级：

1、接入层:底层的数据源或者是操作数据层，一般在公司的话，统一都是称为ODS层。

2、中间层:是做数据仓库同学需要花费更多精力的一层，这一层包括的内容是最多的、最复杂的。

3、应用层:对不同的应用提供对应的数据。该层主要是提供数据产品和数据分析使用的数据。

你好，ODS系统通常分为4个层级：数据获取、数据预处理、数据存储和数据应用。其中，数据获取主要负责从各种数据源中获取数据。

数据预处理主要针对原始数据进行清洗、筛选、变换等操作，以便于后续的数据存储和数据应用。

数据存储主要包括数仓、数据湖等多种形式的存储方式，旨在为数据应用提供高效、灵活的数据源。

数据应用则是ODS系统中的最高层级，常见应用有数据分析、报表制作、数据挖掘等。

您好，ODS系统通常包括以下层级：

1. 数据源层：数据源层是ODS系统中最基础和最关键的层级，它用于从各种数据源中收集数据。数据源可以是企业内部的数据库、文件、日志、传感器等，也可以是外部数据源，如API、社交媒体平台等。

2. 数据抽取层：在数据源层之后，数据需要被抽取出来，并转换成统一的格式和结构。这个过程包括数据清洗、数据转换、数据整合等。

3. 数据存储层：数据抽取层之后，数据需要被存储到ODS系统中。这个层级通常包括关系型数据库、NoSQL数据库、数据仓库等。

4. 数据处理层：数据存储层之后，数据需要被进一步处理和分析。这个层级通常包括数据挖掘、数据分析、机器学习等。

5. 数据展示层：数据处理层之后，数据需要被展示出来，以便用户进行更深入的分析和决策。这个层级通常包括数据可视化、报表生成、数据探索等。