- 浏览: 59792 次
- 性别:
- 来自: 北京
最新评论
-
scu_cxh:
您好,我在学习hadoop方面的东西,想做一个对task监控的 ...
JobClient应用概述 -
bennie19870116:
看不到图呢...
Eclipse下配置使用Hadoop插件
一、安装准备
1、下载zookeeper-3.3.1,地址:http://www.apache.org/dist/hadoop/zookeeper/zookeeper-3.3.1/
2、JDK版本:jdk-6u20-linux-i586.bin
3、操作系统:Linux s132 2.6.9-78.8AXS2smp #1 SMP Tue Dec 16 02:42:55 EST 2008 x86_64 x86_64 x86_64 GNU/Linux
4、默认前提是安装完hadoop 0.20.2版本:
192.168.3.131 namenode
192.168.3.132 datanode
192.168.3.133 datanode
二、操作步骤(默认在namenode上进行)
1、拷贝以上文件到Linux的“/root”目录下。同时新建目录“/jz”。
2、安装JDK,此步省略...
3、解压zookeeper到/jz目录下。tar -zxvf zookeeper-3.3.1.tar.gz -C /jz
4、将“/jz/zookeeper-3.3.1/conf”目录下zoo_sample.cfg修改名称为“zoo.cfg”
5、打开zoo.cfg文件,修改配置如下:
dataDir=/jz/zookeeper_data
clientPort=2181
initLimit=10
syncLimit=5
tickTime=2000
server.1=192.168.3.131:2888:3888
server.2=192.168.3.132:2888:3888
server.3=192.168.3.133:2888:3888
6、创建dataDir参数指定的目录(这里指的是“/jz/zookeeper_data”),并在目录下创建文件,命名为“myid”。
7、编辑“myid”文件,并在对应的IP的机器上输入对应的编号。如在192.168.3.131上,“myid”文件内容就是1,在192.168.3.132上,内容就是2
8、将 “/jz/zookeeper-3.3.1” 目录分别拷贝到192.168.3.132和192.168.3.133下。同时修改对应的“myid”文件内容。
9、至此,安装步骤结束,接下来启动zookeeper。
三、启动zookeeper
1、在三台机器上分别执行shell脚本。“sh /jz/zookeeper-3.3.1/bin/zkServer.sh start”
2、执行完成之后输入“jps”命令,查看进程如下:
namenode上显示如下:
29844 JobTracker
29583 NameNode
31477 HMaster
29762 SecondaryNameNode
32356 Jps
31376 HQuorumPeer
datanode:
16812 DataNode
17032 HRegionServer
17752 HQuorumPeer
16921 TaskTracker
18461 Jps
3、通过输入“sh /jz/zookeeper-3.3.1/bin/zkServer.sh status”检查是否启动,一般返回内容如下:
leader:
JMX enabled by default
Using config: /jz/zookeeper-3.3.1/bin/../conf/zoo.cfg
Mode: leader
follower:
JMX enabled by default
Using config: /jz/zookeeper-3.3.1/bin/../conf/zoo.cfg
Mode: follower
4、通过在控制台输入命令检查集群zookeeper启动状态。命令如“echo ruok | nc 192.168.3.131 2181”,控制台输出“imok”
四、注意事项
通过shell脚本在每个机器上启动zookeeper的时候,可能会显示错误信息“Cannot open channel to X at election address”。这是由于zoo.cfg文件中指定的其他zookeeper服务找不到所导致。所有机器的zookeeper服务启动之后该错误提示将会消失。
有疑问或是写的不对的地方欢迎大家发邮件交流:dajuezhao@gmail.com
发表评论
-
Hadoop的基准测试工具使用(部分转载)
2011-01-21 11:58 1565一、背景由于以前没有 ... -
分布式集群中的硬件选择
2011-01-21 11:58 1004一、背景最近2个月时间一直在一个阴暗的地下室的角落里工作,主要 ... -
Map/Reduce的内存使用设置
2011-01-21 11:57 1608一、背景今天采用10台 ... -
Hadoop开发常用的InputFormat和OutputFormat(转)
2011-01-21 11:55 1458Hadoop中的Map Reduce框架依 ... -
SecondaryNamenode应用摘记
2010-11-04 15:54 1030一、环境 Hadoop 0.20.2、JDK 1.6、 ... -
Hadoop分布式安装
2010-10-27 09:41 983一、安装准备1、下载hadoop 0.20.2,地址:http ... -
Map/Reduce使用杂记
2010-10-27 09:40 909一、硬件环境1、CPU:Intel(R) Core(TM)2 ... -
Hadoop中自定义计数器
2010-10-27 09:40 1497一、环境1、hadoop 0.20.22、操作系统Linux二 ... -
Map/Reduce中的Partiotioner使用
2010-10-27 09:39 886一、环境1、hadoop 0.20.22 ... -
Map/Reduce中的Combiner的使用
2010-10-27 09:38 1156一、作用1、combiner最基本是实现本地key的聚合,对m ... -
Hadoop中DBInputFormat和DBOutputFormat使用
2010-10-27 09:38 2401一、背景 为了方便MapReduce直接访问关系型数据 ... -
Hadoop的MultipleOutputFormat使用
2010-10-27 09:37 1651一、背景 Hadoop的MapReduce中多文件输出默 ... -
Map/Reduce中公平调度器配置
2010-10-27 09:37 1507一、背景一般来说,JOB ... -
无法启动Datanode的问题
2010-10-27 09:37 2367一、背景早上由于误删namenode上的hadoop文件夹,在 ... -
Map/Reduce的GroupingComparator排序简述
2010-10-27 09:36 1310一、背景排序对于MR来说是个核心内容,如何做好排序十分的重要, ... -
Map/Reduce中分区和分组的问题
2010-10-27 09:35 1103一、为什么写分区和分组在排序中的作用是不一样的,今天早上看书, ... -
关于Map和Reduce最大的并发数设置
2010-10-27 09:34 1216一、环境1、hadoop 0.20.22、操作系统 Linux ... -
关于集群数据负载均衡
2010-10-27 09:33 857一、环境1、hadoop 0.20.22、操作系统 Linux ... -
Map/Reduce执行流程简述
2010-10-27 09:33 957一、背景最近总在弄MR的东西,所以写点关于这个方面的内容,总结 ... -
Hadoop集群中关于SSH认证权限的问题
2010-10-27 09:32 868今天回北京了,想把在外地做的集群移植回来,需要修改ip地址和一 ...
相关推荐
ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、...
zookeeper编程的API 在分布式处理的开发上很有用
本方案采用统信 UOS 操作系统+Storm+Zookeeper 结合进行设计,以 Storm 为基础的分布式集群系统,搭配 Apache 开源系统中的应用程序协调服务 Zookeeper 的分布式实时大数据处理框架。 使用 UOS 统信服务器操作系统为...
CTG-BSS_分布式WEB框架_操作手册V0.4 共44页.pdf
CTG-BSS_分布式WEB框架_操作手册V0.4 共44页.docx
CTG-BSS_分布式WEB框架_操作手册V0.4 共58页.docx
CTG-BSS_分布式WEB框架_操作手册V0.4 共58页.pdf
一. Zookeeper集群搭建部署 二. apache-storm集群搭建部署 三. Kafka集群搭建部署 安装部署过程均图文并茂,简单易懂,实际按步骤操作即可。
基于 Zookeeper 搭建 Hadoop 高可用集群 二、Hive 简介及核心概念 Linux 环境下 Hive 的安装部署 CLI 和 Beeline 命令行的基本使用 常用 DDL 操作 分区表和分桶表 视图和索引 常用 DML 操作 数据查询详解 三、Spark ...
09 从Paxos到Zookeeper 分布式一致性原理与实践.pdf 10 马昕曦-Dubbo 的过去、现在以及未来.pdf 11 毛剑-B站微服务链路监控实践.pdf 12 吴疆-Microservice 在 Cloud Foundry 的应用.pdf 13 邢海涛-微服务和K8s集成...
RocketMq操作手册:针对入门初中级别。 消息队列 RocketMQ 是阿里巴巴集团基于高可用分布式集群技术,自主研发的云正式商用的专业消息中间件,既可为分布式应用系统提供异步解耦 和削峰填谷的能力,同时也具备互联网...
Hadoop+Zookeeper+HBase部署指南 pdf Hadoop+分布式文件系统(HDFS)简介 pdf Hadoop开发者入门专刊 pdf Hadoop权威指南 中文版 带书签 pdf Hadoop实战 第2版 pdf hadoop学习总结 ppt Hadoop云计算技术手册 pdf ...
Java全能学习面试手册——Java面试题库.zip 01 7道消息队列ActiveMQ面试题!.pdf 02 10道Java高级必备的Netty面试题!.pdf 03 10道Java面试必备的设计模式面试题!.pdf 04 10个Java经典的List面试题!.pdf 05 10个...
我们有强大的后援 —— Nutz 社区支持 及 Nutz 使用手册QQ交流群1群: 68428921(已满)2群: 24457628版本说明v6.x - nacos 微服务分布式版本 前后端分离,前端 nuxt + vue + elementUIv6.x - zookeeper 微服务分布式...
本手册是根据zookeeper服务特性及官方SDK特点,编写的一套开发手册。针对碰到的大量陷阱,提出注意点,并对编写生产可用的sdk提供参考建议。 本设计(语言基于C++)是基于官方C版Client库而写,对于golang、java及...
资源来自pypi官网。 资源全名:metanetx-sdk-0.3.3.tar.gz
本PPT是作为大学实践课教材,个人制作,现分享给大家!内容就是Hadoop高可用完全分布模式整个部署过程,zookeeper、Hadoop、Hbase等
使用Zookeeper来替换Eureka 25 Consistency(一致性), 数据一致更新,所有数据变动都是同步的 Availability(可用性), 好的响应性能 Partition tolerance(分区容忍性) 可靠性 28 客户端负载均衡器 29 客户端负载...
Patroni(中文:守护神)是一个模板,您可以使用Python创建模板,并使用最大的可访问性来创建自己的定制的高可用性解决方案,该分布式配置商店如ZooKeeper,etcd,Consul或Kubernetes。希望在数据中心或其他任何地方...
dubbox-demos基于dubbox使用手册。dubbo vs dubboxdubbo是阿里开源的 RPC服务调用框架。在他官方描述上是这么说的:Dubbo[音同double]是一个分布式服务框架,致力于提供高性能和透明化的RPC远程服务调用方案,以及...