使用maven可以很方便的管理我们项目的依赖,不需要手动去加载项目依赖的ja包,也方便项目的迁移,所以我选择使用 maven 来管理hadoop的开发环境的jar包。
maven官网
JDK版本的要求
Hadoop 2.7 以及之后的版本,需要JDK 7;
Hadoop 2.6 以及之前的版本,支持JDK 6;
最好按照官方的来,要不然可能会出现一些小的bug。。。
我配置的版本是hadoop 2.8.5 ,使用的jdk版本是 jdk8
对于Hadoop1.x.x版本,只需要引入1个jar:
hadoop-core
对于Hadoop2.x.x版本,需要引入4个jar:
hadoop-common
hadoop-hdfs
hadoop-mapreduce-client-core
hadoop-client
可以去mvn resipository 下载相关的 pom.xml 依赖、
地址:/
这里我整理了一份 maven pom.xml依赖部分的配置:
<dependencies><!-- /artifact/org.apache.hadoop/hadoop-common --><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-common</artifactId><version>2.8.5</version></dependency><!-- /artifact/org.apache.hadoop/hadoop-hdfs --><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-hdfs</artifactId><version>2.8.5</version></dependency><!-- /artifact/org.apache.hadoop/hadoop-mapreduce-client-core --><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-mapreduce-client-core</artifactId><version>2.8.5</version></dependency><!-- /artifact/org.apache.hadoop/hadoop-client --><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-client</artifactId><version>2.8.5</version></dependency><!-- /artifact/org.apache.hadoop/hadoop-yarn-api --><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-yarn-api</artifactId><version>2.8.5</version></dependency><!-- jdk 使用idea 不需要配置这个--><!--<dependency>--><!--<groupId>jdk.tools</groupId>--><!--<artifactId>jdk.tools</artifactId>--><!--<version>1.8</version>--><!--<scope>system</scope>--><!--<systemPath>${JAVA_HOME}/lib/tools.jar</systemPath>--><!--</dependency>--></dependencies>