什么是nosql非结构化数据库
1、NoSQL:以前的翻译是“不使用SQL”:因为有一部分认为SQL查询复杂了。现在的翻译是“不仅仅是SQL”NOSQL数据库与关系性数据最大的区别在于数据存储方面。NOSQL采用文档的形式存储数据、关系型数据库采用表的结构存储数据。
2、NOSQL在大数据面前比SQL数据库更占优势。
nosql 为什么性能高
NoSQL数据库之所以具有高性能,是因为它们采用了不同于传统关系型数据库的数据存储和查询模型。
NoSQL数据库通常采用分布式架构,可以水平扩展以处理大规模数据。它们使用键值对、文档、列族或图形等非结构化数据模型,避免了复杂的关系模型和表连接操作,从而提高了数据的读写速度。
此外,NoSQL数据库还采用了高度优化的数据存储和索引机制,以及并行处理和缓存技术,进一步提升了性能。总之,NoSQL数据库通过简化数据模型、分布式架构和优化技术等手段,实现了高性能的数据存储和查询能力。
bmob数据库属于什么数据库
Bmob数据库是一种云数据库,属于非关系型数据库(NoSQL)。它基于后端云服务平台,提供了数据存储和管理的功能,并支持高并发、分布式、实时数据访问。Bmob数据库适用于移动应用、Web应用和物联网应用等场景,具有简洁的接口和易用的功能,方便开发者进行数据的存储和操作。
ods系统各个层级
数据分层,每个企业根据自己的业务需求可以分成不同的层次,但是最基础的分层思想,理论上数据分为三个层:数据运营层、数据仓库层、数据服务层。基于这个基础分层之上,再提交信息的层次,来满足不同的业务需求。
2.1数据运营层(ODS)
ODS:Operation Data Store 数据准备区,也称为贴源层。数据仓库源头系统的数据表通常会原封不动的存储一份,这称为ODS层,是后续数据仓库加工数据的来源。
ODS层数据的来源方式:
业务库
经常会使用sqoop来抽取,例如每天定时抽取一次。
实时方面,可以考虑用canal监听mysql的binlog,实时接入即可。
埋点日志
日志一般以文件的形式保存,可以选择用flume定时同步
可以用spark streaming或者Flink来实时接入
kafka也OK
消息队列:即来自ActiveMQ、Kafka的数据等。
2.2数据仓库层(DW)
DW数据分层,由下到上为DWD,DWB,DWS。
DWD:data warehouse details 细节数据层,是业务层与数据仓库的隔离层。主要对ODS数据层做一些数据清洗和规范化的操作。
数据清洗:去除空值、脏数据、超过极限范围的
DWB:data warehouse base 数据基础层,存储的是客观数据,一般用作中间层,可以认为是大量指标的数据层。
DWS:data warehouse service 数据服务层,基于DWB上的基础数据,整合汇总成分析某一个主题域的服务数据层,一般是宽表。用于提供后续的业务查询,OLAP分析,数据分发等。
用户行为,轻度聚合
主要对ODS/DWD层数据做一些轻度的汇总。
2.3数据服务层/应用层(ADS)
ADS:applicationData Service应用数据服务,该层主要是提供数据产品和数据分析使用的数据,一般会存储在ES、mysql等系统中供线上系统使用。
我们通过说的报表数据,或者说那种大宽表,一般就放在这里
还没有评论,来说两句吧...