nosql日志 日志数据库 nosql

mesos属于大数据计算平台的哪类组件

首先，一个典型的大数据解决方案，也就是大数据系统平台的构建，涉及到多个层次，数据采集和传输、数据存储、数据计算、资源管理、任务调度等，每个流程阶段当中，都有多个组件可选择，关键是要能够满足实际的需求。 简单举例说明一下典型的一些组件：

文件存储：Hadoop HDFS 离线计算：Hadoop MapReduce、Spark 流式、实时计算：Storm、Spark Streaming K-V、NOSQL数据库：HBase、Redis、MongoDB 资源管理：YARN、Mesos 日志收集：Flume、Scribe、Logstash、Kibana 消息系统：Kafka、StormMQ、ZeroMQ、RabbitMQ 查询分析：Hive、Impala、Presto、Phoenix、SparkSQL、Flink、Kylin、Druid 分布式协调服务：Zookeeper 集群管理与监控：Ambari、Ganglia、Nagios、Cloudera Manager 数据挖掘、机器学习：Mahout、Spark MLLib 数据同步：Sqoop 任务调度：Oozie