`
xitong
  • 浏览: 6206668 次
文章分类
社区版块
存档分类
最新评论

Hadoop LZO 安装教程

 
阅读更多
1.安装 hadoop-gpl-compression
1.1 wget http://hadoop-gpl-compression.apache-extras.org.codespot.com/files/hadoop-gpl-compression-0.1.0-rc0.tar.gz
1.2 mv hadoop-gpl-compression-0.1.0/lib/native/Linux-amd64-64/* $HADOOP_HOME/lib/native/Linux-amd64-64/

1.3 cp hadoop-gpl-compression-0.1.0/hadoop-gpl-compression-0.1.0.jar /usr/local/hadoop-1.0.2/lib/


2.安装 lzo
apt-get install gcc
apt-get install lzop


3.在本地测试 可以 执行 压缩及解压缩命令
下载 https://github.com/kevinweil/hadoop-lzo/zipball/master
解压包
export CFLAGS=-m64
export CXXFLAGS=-m64
//用于 hadoop0.20 ，所以1.0未必适用
进行build
ant compile-native tar
将生成的 build/hadoop-lzo-0.4.15.jar cp 到 /usr/local/hadoop-1.0.2/lib


测试解压程序
bin/hadoop jar /usr/local/hadoop-1.0.2/lib/hadoop-lzo-0.4.15.jar com.hadoop.compression.lzo.LzoIndexer /home/hadoop/project_hadoop/aa.html.lzo

分享到：
| python计算组合数和阶乘
评论
发表评论

您还没有登录,请您登录后再发表评论

相关推荐

    hadoop-lzo-0.4.20.jar

    hadoop2 lzo 文件 ，编译好的64位 hadoop-lzo-0.4.20.jar 文件 ，在mac 系统下编译的，用法：解压后把hadoop-lzo-0.4.20.jar 放到你的hadoop 安装路径下的lib 下，把里面lib/Mac_OS_X-x86_64-64 下的所有文件 拷到 ...

    hadoop-lzo-0.4.21-SNAPSHOT.jar

    hadoop-lzo-0.4.21-SNAPSHOT.jar是hadoop数据压缩lzo工具包

    hadoop-lzo-0.4.20-SNAPSHOT.jar

    编译后的hadoop-lzo源码，将hadoop-lzo-0.4.21-SNAPSHOT.jar放到hadoop的classpath下 如${HADOOP_HOME}/share/hadoop/common。hadoop才能正确支持lzo，免去编译的烦恼

    配置hadoop支持LZO和snappy压缩.pdf

    配置hadoop支持LZO和snappy压缩

    hadoop-lzo-0.4.13.jar

    hadoop-lzo-0.4.13.jar 依赖包 hadoop-lzo-0.4.13.jar 依赖包 hadoop-lzo-0.4.13.jar 依赖包

    hadoop-lzo-0.4.15.tar.gz

    hadoop-lzo-0.4.15.tar.gz

    hadoop lzo debug jar

    hadoop用于解析lzo的包，这个问题在使用presto的时候需要将此包添加到presto的工具包中，以支持lzo格式文件的查询。

    hadoop-lzo-master

    1.安装 Hadoop-gpl-compression 1.1 wget http://hadoop-gpl-compression.apache-extras.org.codespot.com/files/hadoop-gpl-compression-0.1.0-rc0.tar.gz 1.2 mv hadoop-gpl-compression-0.1.0/lib/native/Linux-...

    hadoop-lzo-0.4.15.jar

    hadoop2 lzo 文件 ，编译好的64位 hadoop-lzo-0.4.15.jar 文件 ，在mac 系统下编译的，用法：解压后把hadoop-lzo-0.4.15.jar 放到你的hadoop 安装路径下的lib 下，把里面lib/Mac_OS_X-x86_64-64 下的所有文件 拷到 ...

    hadoop-lzo-master.zip

    hadoop lzo 压缩算法的所有工程，包括hadoop-lzo-master，编译好之后的target文件夹和hadoop-lzo-0.4.20-SNAPSHOT.jar文件。复制到eclipse中，可以直接使用lzo压缩算法。

    hadoop-lzo-0.4.20-SNAPSHOT.jar 包

    hadoop lzo 压缩jar包，本人已经编译好，提供大家下载。

    2.Hadoop-lzo.7z lzo源码+包

    hdfs默认不支持lzo压缩，需要通过将lzo源码融入hadoop源码，重新编译hadoop源码；或者编译lzo源码生成jar，作为插件使用

Magicbox
Global site tag (gtag.js) - Google Analytics