600字范文,内容丰富有趣,生活中的好帮手!
600字范文 > 在idea上配置hadoop开发环境 使用maven配置hadoop的依赖 自动管理相关jar包

在idea上配置hadoop开发环境 使用maven配置hadoop的依赖 自动管理相关jar包

时间:2020-01-23 11:36:28

相关推荐

在idea上配置hadoop开发环境 使用maven配置hadoop的依赖 自动管理相关jar包

使用maven可以很方便的管理我们项目的依赖,不需要手动去加载项目依赖的ja包,也方便项目的迁移,所以我选择使用 maven 来管理hadoop的开发环境的jar包。

maven官网

JDK版本的要求

Hadoop 2.7 以及之后的版本,需要JDK 7;

Hadoop 2.6 以及之前的版本,支持JDK 6;

最好按照官方的来,要不然可能会出现一些小的bug。。。

我配置的版本是hadoop 2.8.5 ,使用的jdk版本是 jdk8

对于Hadoop1.x.x版本,只需要引入1个jar:

hadoop-core

对于Hadoop2.x.x版本,需要引入4个jar:

hadoop-common

hadoop-hdfs

hadoop-mapreduce-client-core

hadoop-client

可以去mvn resipository 下载相关的 pom.xml 依赖、

地址:/

这里我整理了一份 maven pom.xml依赖部分的配置:

<dependencies><!-- /artifact/org.apache.hadoop/hadoop-common --><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-common</artifactId><version>2.8.5</version></dependency><!-- /artifact/org.apache.hadoop/hadoop-hdfs --><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-hdfs</artifactId><version>2.8.5</version></dependency><!-- /artifact/org.apache.hadoop/hadoop-mapreduce-client-core --><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-mapreduce-client-core</artifactId><version>2.8.5</version></dependency><!-- /artifact/org.apache.hadoop/hadoop-client --><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-client</artifactId><version>2.8.5</version></dependency><!-- /artifact/org.apache.hadoop/hadoop-yarn-api --><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-yarn-api</artifactId><version>2.8.5</version></dependency><!-- jdk 使用idea 不需要配置这个--><!--<dependency>--><!--<groupId>jdk.tools</groupId>--><!--<artifactId>jdk.tools</artifactId>--><!--<version>1.8</version>--><!--<scope>system</scope>--><!--<systemPath>${JAVA_HOME}/lib/tools.jar</systemPath>--><!--</dependency>--></dependencies>

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。