数据分析-[数据仓库]分层概念,ODS,DM,DWD,DWS,DIM的概念

数据分析-[数据仓库]分层概念,ODS,DM,DWD,DWS,DIM的概念

零、数据加载层:ETL(Extract-Transform-Load)

一、数据运营层:ODS(Operational Data Store) 是最接近数据源中数据的一层,数据源中的数据,经过抽取、洗净、传输,也就说传说中的 ETL 之后,装入本层

二、数据仓库层:DW(Data Warehouse)

1. 数据明细层:DWD(Data Warehouse Detail)

2. 数据中间层:DWM(Data WareHouse Middle)

3. 数据服务层:DWS(Data WareHouse Servce)

三、数据应用层:APP(Application)

四、维表层:(Dimension)

 

  • DWS:轻度汇总层,从ODS层中对用户的行为做一个初步的汇总,抽象出来一些通用的维度:时间、ip、id,并根据这些维度做一些统计值,比如用户每个时间段在不同登录ip购买的商品数等。这里做一层轻度的汇总会让计算更加的高效,在此基础上如果计算仅7天、30天、90天的行为的话会快很多。我们希望80%的业务都能通过我们的DWS层计算,而不是ODS。
  • DWD:这一层主要解决一些数据质量问题和数据的完整度问题。比如用户的资料信息来自于很多不同表,而且经常出现延迟丢数据等问题,为了方便各个使用方更好的使用数据,我们可以在这一层做一个屏蔽。(汇总多个表)
  • DIM:这一层比较单纯,举个例子就明白,比如国家代码和国家名、地理位置、中文名、国旗图片等信息就存在DIM层中。
  • TMP:每一层的计算都会有很多临时表,专设一个DWTMP层来存储我们数据仓库的临时表。

 

 

 

推荐阅读:https://www.cnblogs.com/itboys/p/10592871.html(数据仓库--通用的数据仓库分层方法)

推荐阅读:https://baijiahao.baidu.com/s?id=1649349568939493055&wfr=spider&for=pc(如何深入浅出理解数据仓库建模?)

推荐阅读:https://www.csdn.net/gather_21/MtTaYgxsMTI2NS1ibG9n.html(数据仓库分层架构图)

推荐阅读:https://bigdata.51cto.com/art/201710/554810.htm(【漫谈数据仓库】 如何优雅地设计数据分层)

 

作者: 轻烟随风
当前文章地址: https://www.zyxpp.com/odsdmdwddwsdim/
来源: 轻烟随风的博客
文章版权归作者所有,欢迎转载
THE END
分享
二维码
< <上一篇
下一篇>>