win7 64 eclipse 导入hadoop2.6.0 源码

news/2024/7/5 23:25:46 标签: 大数据, 开发工具, java
Software:链接: http://pan.baidu.com/s/1jHba8To 密码: t8ti
一、安装ant、maven
(1)首先下载ant,maven的安装包
apache-ant-1.9.4-bin.zip
apache-maven-3.3.9-bin.zip

(2)配置环境变量
添加系统环境变量
ANT_HOME=D:\software\apache-ant-1.9.4
MAVEN_HOME=D:\software\apache-maven-3.3.9
Path, 将 " ;%ANT_HOME%\bin;%MAVEN_HOME%\bin " ,引号追加在Path的路径后面


(3)进入cmd,验证是否成功
ant -version
mvn -version

二、安装protoc

1、首先下载protobuf-2.5.0.tar.gz 和 protoc-2.5.0-win32.zip 两个包。分别解压到各自目录
2.将protoc-2.5.0-win32中的protoc.exe拷贝到c:\windows\system32中。
3.将protoc.exe文件拷贝到解压后的D:\software\protobuf-2.5.0\src目录中.
4.cmd进入D:\software\protobuf-2.5.0\java 目录
  执行 mvn package命令.
## 生成protobuf-java-2.5.0.jar文件(位于target目录中)
      
验证:
protoc --version
libprotoc 2.5.0


三、下载hadoop源码
1.下载hadoop-2.6.0-src.tar.gz,解压至当前目录 D:\software\
2.cmd命令行,进入 D:\software\hadoop-2.6.0-src\hadoop-maven-plugins,运行mvn install 命令
3. cmd命令行,进入 D:\software\ hadoop-2.6.0-src,运行mvn eclipse:eclipse -DskipTests 命令

四、导入hadoop源码
通过eclipse中的Import将源码导入到eclipse中

五、Error

error#1. hadoop-streaming里面的build path有问题,显示/root/workspace/hadoop-2.2.0-src/hadoop-yarn-project/hadoop-yarn/hadoop-yarn-server/hadoop-yarn-server-resourcemanager/conf(missing)

解决办法,remove掉引用就好。

error#2. hadoop-hdfs/src/test/java/org/apache/hadoop/hdfs/testdfsclientfailover.java中报sun.net.spi.nameservice.nameservice错误,这是一个需要import的包,存在于openjdk中,在oracle jdk中没找到,需要下载一个。nameservice是一个接口,在网上找一个nameservice放到该包中就好。 http://grepcode.com/file/repository.grepcode.com/java/root/jdk/openjdk/7u40-b43/sun/net/spi/nameservice/nameservice.java#nameservice

error#3/hadoop-hdfs/src/main/java/org/apache/hadoop/hdfs/tools/offlineeditsviewer/xmleditsvisitor.java里面显示 
import com.sun.org.apache.xml.internal.serialize.outputformat; 
import com.sun.org.apache.xml.internal.serialize.xmlserializer; 
失败,这是由于eclipse的强检查原则,打开java -> compiler -> errors/warnings and under "deprecated and restricted api" change the setting of "forbidden reference (access rules)" 将error级别调整到warning级别就好。

error#4/hadoop-common/src/test/java/org/apache/hadoop/io/serializer/avro/testavroserialization.java显示没有avrorecord类,在网上搜索到avrorecord类放入到同级包中就行了。  http://grepcode.com/file/repo1.maven.org/maven2/org.apache.hadoop/hadoop-common/2.2.0/org/apache/hadoop/io/serializer/avro/avrorecord.java#avrorecord

error#5org.apache.hadoop.ipc.protobuf包是空的,需要在/hadoop-common/target/generated-sources/java中找到profobuf拷贝到/hadoop-common/src/test/java中就好了. 同时包里面还缺少了以下三个引用,在grepcode上找一下,把hadoop-common2.2.0的相应文件下下来导入。

org.apache.hadoop.ipc.protobuf.testprotos.echorequestproto;
org.apache.hadoop.ipc.protobuf.testprotos.echoresponseproto;
org.apache.hadoop.ipc.protobuf.testrpcserviceprotos.testprotobufrpcproto;

error#6. /hadoop-auth/org/apache/hadoop/security/authentication/client/authenricatortestcase.java中显示server.start()和server.stop()错误,还没找到原因所在,待检查~~~



参考: http://www.linuxidc.com/Linux/2015-05/117705.htm
        http://www.makaidong.com/博客园排行/3097.shtml


http://www.niftyadmin.cn/n/1046432.html

相关文章

CSS left 属性

定义和用法left 属性规定元素的左边缘。该属性定义了定位元素左外边距边界与其包含块左边界之间的偏移。注释:如果 "position" 属性的值为 "static",那么设置 "left" 属性不会产生任何效果。说明对于 static 元素&#xf…

mysql 64 zip download

open the url :: http://dev.mysql.com/downloads/file/?id461109 and click the location "no thanks..." 转载于:https://www.cnblogs.com/rocky-fang/p/5190501.html

openstack 网络

物理节点hosts解析配置 neutron网络 根据多套云平台架构搭建及运维知--openstack的管理网络流量非常较大&#xff01;&#xff01;&#xff01; <二.>nova-network

plsql提示列快捷键_plsql 常用快捷键(自动替换)

plsql 常用快捷键CreateTime--2018年4月23日17:33:05Author:Marydon说明&#xff1a;这里的快捷键&#xff0c;不同于以往的快捷键&#xff0c;输入指定字符&#xff0c;按快捷键&#xff0c;可以自动替换成你所配置的指定内容iiINSERT INTOinsINSERTupdUPDATEselSELECTfroFROM…

微信小程序js数组初始化_微信小程序常用赋值方法小结

本文实例讲述了微信小程序常用赋值方法。分享给大家供大家参考&#xff0c;具体如下&#xff1a;1.微信小程序将值赋值给局部变量: ""实例&#xff1a;var nameoptions.goodsName2.微信小程序将值赋值给全局变量: "" 或 this.setData({ })实例&#xff1a;…

access怎么查询工龄_ACCESS查询操作题及答案详解.doc

ACCESS查询操作题及答案详解2&#xff0e;简单应用题在考生文件夹下有“xxx.mdb”数据库。(1)以雇员表为数据源&#xff0c;创建查询“查询1”&#xff0c;查询职务为“销售主管”的雇员信息。结果显示雇员的全部字段。(2)以工资表为数据源&#xff0c;创建参数更新查询“工资调…

js 小数自动补0_在js中做数字字符串补0(js补零)

通常遇到的一个问题是日期的“1976-02-03 HH:mm:ss”这种格式 &#xff0c;我的比较简单的处理方法是这样&#xff1a;function formatDate(d) {var D[00,01,02,03,04,05,06,07,08,09]with (d || new Date) return [[getFullYear(), D[getMonth()1]||getMonth()1, D[getDate()]…

织梦缩略图自动补齐绝对路径_织梦生成文章内容缩略图时自动加上域名绝对路径...

因为他们是有个PC端和手机端,用的同一个数据库,但是不同的服务器,所以不加绝对路径的话,其中一端的不能显示图片的。大家一般想做这个缩略图自动带上绝对路径的话可能一般有2种思路&#xff1a;在点击上传缩略图和编辑器自动获取第一张图做缩略图的代码处加上域名这个绝对路径,…