大数据平台运维方案.docx
大数据平台运维方案1.引言1.1 概述本文档为大数据平台运维用户的使用手册,主要用于对大数据平台的启动、关闭和检查1.2 环境本大数据平台主要配置如下所示:功主机名IP邰善蛆行HadOoP集群曾建节点(2fe)hadpManagerO117i1620.11HIVE(MYSQL).SQPhadpManagerO2172.1620.12Narw0Q11oop)、Urb4rttvervro4er(hadp)、ResourceManager(hadoop)MYSQLHadoOP集群期B节点(3)hadoop01172.162021JournaINode(hadoop),DataNode(hadp).QuorumPeerMain(Zkeeper).SPARK(master、WOrker).NodeManager(hadoop)hadoop01172.162022Xoopo2172.162023HbaSej熊楫理万点(2旬hbaseManagerO1172.1620.51NameNode(Kadoop)、DFSZKFk>verCotroller(hadoop)、ResourceManager(hadp),Hmaster(hbase)KafkaOffsetMonitorszat>bixhbaseManagerO2172.1620.52HbaSe*8微S节点(3台)hbaseO1172.1620.61JournaINode(hadp),DataNode(Hadoop).Zookeeper,HReglonServe<(hbase),KAFKAaNodeManager(hadp)hbaseO2172.16202hbaseO31721620.63图1.2配匿信息版本信息：Hadoophadoop-2.6.0-cdh5.10.0Hbasehbase-1.2.0-cdh5.10.0Hivehive-1.1.0-cdh5.10.0Sparkspark-2.3.0-bin-hadoop2.6Sqoopsqoop-1.4.6-cdh5.10.0Zookeeperzookeeper-3.4.5-cdh5.10.0KAFKAkafka,2.12-1.0.1kafka-monorKafkaOffsetMonitor-assembly-O.2.1JDKjdk-8ul62-linu×-×64Mysqlmysql-5.7.21-l.el7.×86.64.rpm-bundlemysqI-connector-java-5.1.46Scalascala-2.12.5所有大数据组件都部署在子用户下，Hadoop集群子用户为hadoop,Hbase集群子用户为hbase,大数据组件全部通过手动方式搭建，文件目录在/home/had。P或者homehbase卜）2.正文2.1 组件信息主要介绍每个组件的信息2.1.1 ZookeeperZookeeper是分布式应用程序协调服务.2.1.1.1 zookeeper数据存储目录ZK数据目录：homehadoopoptdatazookeeperZK日志目录：homehadoopoptdatazookeeperzookeeperjog2.1.1.2 ZOokeePer所使用的端口2181、2888、38882.1.1.3 ZoOkeePer使用命令（一级）启动：homehadoopzookeeper-3.4.5-cdh5.10.0binzkServer.shstart查看状态：homehadoopZOOkeePer-3.4.5-Cdh5.10.0/bin/zkCli.sh-serverhadoop:2180检查状态：homehadoopZOOkeePer-3.4.5-Cdh5.10.0/bin/zkCli.shzkServer.shstatus备注：执行命令后（比如启动）在当前路径下会生成ZOOkeeperqut文件，里面有相关日志信息2.1.2 HadoopHadoop是一个分布式系统基础架构，主要有HDFS和MapReduce组成，HDFS提供分布式存储，MaPRedUCe提供分布式计算。2.1.2.1 hadoop文件存储目录HadOOP临时文件：homehadoopoptdatahadooptmpNamenode数据：homehadoopoptdatahadoophadoop-nameDatanode数据：/home/hadoop/opt/data/hadoop/hadoop_datajournalnodhomehadoopoptdatahadoopeditsdirdfsjournalnodenodemanager数据信息:homehadoopoptdatahadoopnm-local-dirHadoop使用日志：homehadoopoptdatahadoophadoop-logHadoop用户日志：homehadoopoptdatahadoopuserlogs业务数据路径：mntsdal,mntsdblmntsdclmntsddllmntsdel,mntsdfl等2.1.2.2 hadoop使用端口50070、9000、8088等2.1.2.3 hadoop使用命令（一级）启动Namenode：homehadoophadoop-2.6.0-cdh5.10.0sbinhadoop-daemon.shstartnamenode关闭Namenode：homehadoophadoop-2.6.0-cdh5.10.0sbinhadoop-daemon.shstopnamenode启动DFS：homehadoophadoop-2.6.0-cdh5.10.0sbinstart-dfs.sh关闭DFS：homehadoophadoop-2.6.0-cdh5.10.0sbinstart-dfs.sh启动YARN：homehadoophadoop-2.6.0-cdh5.10.0sbinstart-yarn.sh关闭YARN：homehadoophadoop-2.6.0-cdh5.10.0sbinstop-yarn.sh启动整个hadoop：homehadoophadoop-2.6.0-cdh5.10.0sbinstart-all.sh关闭整个hadoop：homehadoophadoop-2.6.0-cdh5.10.0sbinstop-all.sh备注1homehadoopoptdatahadoophadoop-log中可以查看启动等日志信息2.1.3 HbaseHBaSe是一个分布式的、面向列的开源数据库。2.1.3.1 HbaSe文件存储目录日志文件：homehbaseoptdatahbaseIogS临时文件：homehbaseoptdatahbasetmp2.1.3.2 Hbase使用端口600102.1.3.3 Hbase使用命令（一级）启动hbase：homehbasehbase-1.2.0-cdh5.10.0binstart-hbase.sh关闭hbase：homehbasehbase-1.2.0-cdh5.10.0binstop-hbase.sh启动master：homehbasehbase-1.2.0-cdh5.10.0binhbase-daemon.shstartmaster关闭master：homehbasehbase-1.2.0-cdh5.10.0binhbase-daemon.shstopmaster备注：每个节点/home/hbase/opt/data/hbase/logs/中可以看到启动状态2.1.4 Spark一个专为大规模数据处理而设计的快速通用的计算引擎。2.1.4.1 SPark使用端口80802.1.4.2 Spark使用命令（一级）启动spark：homehadoopspark-2.3.0-bin-hadoop2.6sbinstart-all.sh关闭spark：homehadoopspark-2.3.0-bin-hadoop2.6sbinstop-all.sh启动worker节点：homehadoopspark-2.3.0-bin-hadoop2.6sbinstart-slaves.sh关闭worker付点：homehadoopspark-2.3.0-bin-hadoop2.6sbinstop-slaves.sh启动master节点：homehadoopspark-2.3.0-bin-hadoop2.6sbinstart-master.sh关闭master节点：homehadoopspark-2.3.0-bin-hadoop2.6sbinstop-master.sh启动spark-sql：homehadoopspark-2.3.0-bin-hadoop2.6binspark-sql启动thriftserver:homehadoosark-2.3.0-bin-hadoo2.6sbinstart-thriftserver.sh2.1.5 Hivehive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的Sql查询功能，可以将sql语句转换为M叩RedUCe任务进行运行。2.1.5.1 Hive文件存储目录Hive数据：homehadoopoptdatahiveHive的日志：homehadoopoptdatahivelogs2.1.5.2 HiVe的MySql信息Hve的MySQL主副集群为172.16.20.11-12,其中172.16.20.11为主数据库。据库用户名：hive据库密码：hive2.1.5.3 Hive的使用（一级）hive命令：hadoophive-1.1.0-cdh5.10.0binhive启动hive元数据：homehadoophive-1.1.0-cdh5.10.0binhiveservicemetastore>hive_metastore.log2.1.6 SqoopSqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如：MySQLQrade,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。2.1.6.1 SqOOP使用（一级）列出mysql数据库中的所有数据库sqooplist-databases-connectjdbc:mysql:/localhost:3306/-usernamemysql-password20182.1.7 KAFKAKafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动
