dajuezhao的博客
dajuezhao · 共 41 篇文章
什么样的才是好代码
一、背景说明 最近时间相对比较宽裕了,相对于前些时候,可以说轻松了很多。于是偷得浮生半日闲,写点东西吧。其实对于这个话题,我在2010年的5月份的时候就想写了,但是那个时候专注于hadoop的技术学习,所以没有太多的时间去关注这个话题,于是就搁置了,但是没想到这一搁置居然搁置了有半年多的时间,于是思考着,这个时候再不写,以后怕是又要忘记了。于是赶紧写出来。 二、好代码要具备的基本条件 关于写代码,相信每个程序员或者是工程师都写过。什么样的代码好,相信每个人心里都有自己的想法。今天,在这里我要说的就是我对于好的代码的理解。说个几条吧,大家参看一下,虽然好代码的标准很多,但是我觉得起码需要具备以…
2011-01-21 12:00 · 胡说八道 · 评论(0)
难忘2010
其实在2011元旦的时候就打算写些东西用以回顾2010年,但是由于时间上紧张,实在是抽不出时间来写点东西,因此拖延到现在才写。干IT这个行业也有些年头了,说实话,2010年是我最难忘的一年。在工作内容、发展方向以及个人经历上都有了和往年大为不同的经历。在这里先记下一些难忘的事,供以后自己翻看。 第一季度的开心: 年初的时候,也就是2010年的1月--3月,开心的事比较多,主要就是3件。一是自己结婚了,哈哈,不容易。二是自己带的项目在1月顺利验收通过,团队的朋友给予我很大的支持,十分感激和我一起拼搏的兄弟们。最后就是公司安排我做hadoop技术的预研,也就是这个安排,开启了我2010的工作以h…
2011-01-21 12:00 · 胡说八道 · 评论(0)
Hadoop的基准测试工具使用(部分转载)
一、背景 由于以前没有细看hadoop提供的测试工具,只是在关注hadoop本身的内容,所以很多的性能测试都忽略了。最近花了一周的时间准备做个性能测试,但是都是采用自己的方法得出的抽象值。今天看淘宝的博客,提到hadoop自带的测试工具,遂试了一把,记录一下,供以后参考。 二、使用 我做基准测试主要是用了hadoop-0.20.2-test.jar这个工具jar包。主要是做了I/O的测试。在网上也找了一些资料,抄抄谢谢记录如下: DFSCIOTest 测试libhdfs中的分布式I/O的基准。Libhdfs是一个为C/C++应用程序提供HDFS文件服务的共享库。 DistributedFSC…
2011-01-21 11:58 · hadoop · 评论(0)
分布式集群中的硬件选择
一、背景 最近2个月时间一直在一个阴暗的地下室的角落里工作,主要内容就是hadoop相关的应用。在这期间,Hadoop的应用确实得到认可,但是同时也带来了一些问题,软件方面我就不在这里说了,只说说一些物理方面的局限: 1、众所周知,hadoop能够接受任何类型的机器加入集群,在多不在精。但是这带来一个问题,机房的空间开销以及电费。 2、机器太多,人力维护成本也是增加的。机柜啊、物理空间都是个不小的负担和开销。 刚好,在这个问题产生的同时,十分幸运的被一同事叫出来,去参加一个会议,得以有机会走上地面。这个会议是个联合性质的,多个公司的人在一起。其中有一家公司在海量数据计算方面力推hadoop,…
2011-01-21 11:58 · hadoop · 评论(0)
Map/Reduce的内存使用设置
一、背景 今天采用10台异构的机器做测试,对500G的数据进行运算分析,业务比较简单,集群机器的结构如下: A:双核CPU×1、500G硬盘×1,内存2G×1(Slaver),5台 B:四核CPU×2、500G硬盘×2,内存4G×2(Slaver),4台 C:四核CPU×2、500G硬盘×2,内存4G×8(Master),1台 软件采用Hadoop 0.20.2,Linux操作系统。 二、过程 1、制造了500G的数据存放到集群中。 2、修改配置,主要是并发的Map和Reduce数量。修改如下图: 3、修改mapred-site.xml配置文件中的mapred.child.java.opts…
2011-01-21 11:57 · hadoop · 评论(0)
Hadoop开发常用的InputFormat和OutputFormat(转)
Hadoop中的Map Reduce框架依赖InputFormat提供数据,依赖OutputFormat输出数据;每一个Map Reduce程序都离不开他们。Hadoop提供了一系列InputFormat和OutputFormat方便开发,本文介绍几种常用的。 TextInputFormat 用于读取纯文本文件,文件被分为一系列以LF或者CR结束的行,key是每一行的位置(偏移量,LongWritable类型),value是每一行的内容,Text类型。 KeyValueTextInputFormat 同样用于读取文件,如果行被分隔符(缺省是tab)分割为两部分,第一部分为key,剩下的部分为…
2011-01-21 11:55 · hadoop · 评论(0)
SecondaryNamenode应用摘记
一、环境 Hadoop 0.20.2、JDK 1.6、Linux操作系统 二、背景 上周五的时候,由于操作系统的原因,导致JDK出现莫名的段错误。无论是重启机器还是JDK重装都无济于事。更可悲的是,出问题的机器就是Master。当时心里就凉了半截,因为secondarynamenode配置也是在这个机器上(默认的,没改过)。不过万幸的是这个集群是测试环境,所以问题不大。借这个缘由,我将secondarynamenode重新配置到其他机器上,并做namenode挂掉并恢复的测试。 三、操作 1、关于secondarynamenode网上有写不错的文章做说明,这里我只是想说关键一点,它不是nam…
2010-11-04 15:54 · hadoop · 评论(0)
Shell脚本执行Hive语句
一、环境 1、Hadoop 0.20.2 2、Hive 0.5 3、操作系统 Linux m131 2.6.9-78.8AXS2smp #1 SMP Tue Dec 16 02:42:55 EST 2008 x86_64 x86_64 x86_64 GNU/Linux 二、步骤 1、直接贴上脚本吧 #!/bin/bash #give the params: name value tablename if [ $# -eq 3 ] then name=$1 value=$2 tablename=$3 echo name=${name} echo value=${value} echo tabl…
2010-10-27 09:50 · hive · 评论(0)
关于Hive建表需要注意的问题
一、环境 1、Hadoop 0.20.2 2、Hive 0.5.0 3、JDK 1.6 4、操作系统:Linux m131 2.6.9-78.8AXS2smp #1 SMP Tue Dec 16 02:42:55 EST 2008 x86_64 x86_64 x86_64 GNU/Linux 二、注意事项 1、关于数字类型支持的位数类型 支持数字位数 tinyint 3位数字 smallint 5位数字 int 10位数字 bigint 19位数字 对于数字类型的存放,如果数字很长,但是对这个字段的值不需要进行计算,个人认为可以就是存放为string。 如果数字字段的值超过了设定的字段类型(…
2010-10-27 09:50 · hive · 评论(0)
Hive-0.5中SerDe概述
一、背景 1、当进程在进行远程通信时,彼此可以发送各种类型的数据,无论是什么类型的数据都会以二进制序列的形式在网络上传送。发送方需要把对象转化为字节序列才可在网络上传输,称为对象序列化;接收方则需要把字节序列恢复为对象,称为对象的反序列化。 2、Hive的反序列化是对key/value反序列化成hive table的每个列的值。 3、Hive可以方便的将数据加载到表中而不需要对数据进行转换,这样在处理海量数据时可以节省大量的时间。 二、技术细节 1、SerDe是Serialize/Deserilize的简称,目的是用于序列化和反序列化。 2、用户在建表时可以用自定义的SerDe或使用Hive…
2010-10-27 09:49 · hive · 评论(0)
Hive0.5中Partition简述
一、背景 1、在Hive Select查询中一般会扫描整个表内容,会消耗很多时间做没必要的工作。有时候只需要扫描表中关心的一部分数据,因此建表时引入了partition概念。 2、分区表指的是在创建表时指定的partition的分区空间。 3、如果需要创建有分区的表,需要在create表的时候调用可选参数partitioned by,详见表创建的语法结构。 二、技术细节 1、一个表可以拥有一个或者多个分区,每个分区以文件夹的形式单独存在表文件夹的目录下。 2、表和列名不区分大小写。 3、分区是以字段的形式在表结构中存在,通过describe table命令可以查看到字段存在,但是该字段不存放…
2010-10-27 09:49 · hive · 评论(0)
Hive-0.5中UDF和UDAF简述
一、UDF 1、背景:Hive是基于Hadoop中的MapReduce,提供HQL查询的数据仓库。Hive是一个很开放的系统,很多内容都支持用户定制,包括: a)文件格式:Text File,Sequence File b)内存中的数据格式: Java Integer/String, Hadoop IntWritable/Text c)用户提供的 map/reduce 脚本:不管什么语言,利用 stdin/stdout 传输数据 d)用户自定义函数: Substr, Trim, 1 – 1 e)用户自定义聚合函数: Sum, Average…… n – 1 2、定义:UDF(User-Def…
2010-10-27 09:48 · hive · 评论(0)
Hive的JDBC连接
一、环境 Hadoop 0.20.2版本、Hive-0.5.0版本、JDK1.6 二、使用目的 1、一般来说我们对hive的操作都是通过cli来进行,也就是Linux的控制台,但是,这样做本质上是每个连接都存放一个元数据,各个之间都不相同,所以,对于这样的模式我建议是用来做一些测试比较合适,并不适合做产品的开发和应用。 2、因此,就产生的JDBC连接的方式,当然还有其他的连接方式,比如ODBC等。 三、连接的配置 1、修改hive-site.xml <property> <name>javax.jdo.option.ConnectionURL</name> <!--表示使用嵌入式的derby…
2010-10-27 09:48 · hive · 评论(0)
Hive安装手册
一、安装准备 1、下载hive-0.5.0-bin版本:http://apache.etoak.com/hadoop/hive/hive-0.5.0/ 2、JDK版本:jdk-6u20-linux-i586.bin 3、操作系统:Linux s132 2.6.9-78.8AXS2smp #1 SMP Tue Dec 16 02:42:55 EST 2008 x86_64 x86_64 x86_64 GNU/Linux 4、默认前提是安装完hadoop 0.20.2版本: 192.168.3.131 namenode 192.168.3.132 datanode 192.168.3.133 d…
2010-10-27 09:47 · hive · 评论(0)
Hive使用杂记
一、环境描述 1、Hadoop版本0.20.2,操作系统Linux、JDK 1.6 2、Hive版本0.5.0 二、元数据的存储 1、如果之前进行了建表操作,但是后来对hdfs format后,通过Hive的cli来输入指令show tables查看表,表结构依然存在,但是hdfs文件系统中对应的目录却不存在。那是因为hive的元数据还存在原因导致。元数据默认存放在metastore_db中,删除这个文件夹,再使用show tables命令来查看,表结构自然不存在。由此可以看出metastore_db就是Hive默认存储元数据的地方。 2、对于Hive元数据的存储,默认采用derby。 3、…
2010-10-27 09:47 · hive · 评论(0)