多源异构数据融合方法
多源异构数据融合系统，用于航空业的多源异构数据融合，包括：
数据源层，所述数据源层用于获取各异构数据源的集合，其获取的数据源包括结构化数据、非结构化数据及实时流数据；
计算层，所述计算层用于对所述数据源的收集、清洗、存储及计算，其包括内存计算框架、流计算框架、数据仓库、数据挖掘引擎、分布式计算框架及文件系统；
所述内存计算框架用于实现基于内存的数据计算，所述流计算框架用于对于航空PNR数据的实时接收以及计算，所述数据仓库用于存储结构化后的网站浏览相关数据，所述数据挖掘引擎用于用户的模型建立和计算，用于对于整个大数据平台的资源管理，所述文件系统用于整个平台底层的数据文件存储；
数据层，所述数据层用于实现存储数据访问，其包括SQL系统、NoSQL系统及缓存系统；所述SQL系统用于实现关系型数据库的存储和搜索，所述NoSQL系统用于非关系型数据库的存储和搜索，所述缓存系统用于基于缓存的数据存储和计算；
分析层，所述分析层用于实现对用户关联后的数据分析及画像刻画，其包括语义层及OLAP引擎；所述语义层用于实现基于分析后和业务场景进行报表的开发和展示，所述OLAP引擎用于实现对于数据分析的联机分析处理。
多源异构数据的融合方法:
1、数据采集过程中，针对原始数据进行准确、实时的采集，为数据集成阶段提供原始数据源，对原始数据源进行数据描述，并建立对应的多种协议解析引擎。
2、依据多种不同类的数据源使用hbase和nosql数据库对来自各个子系统的数据进行分布式存储。
3、通过加载hibernate ogm并基于其上建立统一的hbase和nosql 数据库访问模型，使两个数据库按照统一的规则并在同一个框架下进行读写完成整体的数据接入。
4、利用同类均值插补方式对于错误数据，首先利用统计分析的标准差方法
对预估出现的错误值识别，并对识别后的错误数据进行清除，完成对数据进行筛选。
5、对数据清理后，其数据通过extract-transform-load，进行筛选加工转换，然后加载到一个数据仓库模型中去存储。
6、通过采用fp-growth并行算法针对数据仓库模型中的数据进行提取分析并标记出关联信息，将关联信息导入相应的建模算法即可。
nosql和mysql的区别
nosql和mysql是两种不同类型的数据库系统。它们之间的主要区别在于以下几个方面：
数据结构不同： MySQL是关系型数据库，使用表格来存储数据。而NoSQL数据库可以使用多种数据模型，包括键值对、文档模型、图形模型等。
扩展性不同：NoSQL数据库通常比MySQL更容易扩展。因为NoSQL数据库通常使用分布式体系结构，可以更容易地将数据分片和复制到多个节点上，从而实现水平扩展。
一致性不同：MySQL通常使用强一致性模型，这意味着在读取数据时，会始终返回最新的数据。而NoSQL数据库通常使用最终一致性模型，这意味着在读取数据时，可能会返回旧的或不完整的数据，但随着时间的推移，所有节点最终都将达到一致状态。
灵活性不同：NoSQL数据库通常比MySQL更灵活，因为它们不需要遵循预定义的表格结构，可以更容易地适应不同的数据模型和需求。
存储量不同：NoSQL数据库通常可以存储比MySQL更大的数据量。因为NoSQL数据库通常使用水平扩展，可以将数据分布到多个节点上。
查询语言不同：MySQL使用SQL查询语言，而NoSQL数据库通常使用它们自己的查询语言或API。
总的来说，nosql适用于大规模的、分散的、非结构化的数据存储和处理，mysql适用于小规模的、结构化的数据存储和处理。
还没有评论，来说两句吧...