博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
对于maven创建spark项目的pom.xml配置文件(图文详解)
阅读量:5012 次
发布时间:2019-06-12

本文共 4583 字,大约阅读时间需要 15 分钟。

 

 

  不多说,直接上干货!

 

http://mvnrepository.com/

 

 

 

 

 

 

  这里,怎么创建,见

 

 

 

  这里, 我重点说下spark项目,因为,对于hadoop这样的,我已经写了大量博客了。

   比如,我目前用得较多的spark-mllib。

  这里 就是你的scala版本是2.10.X系列。比如我一般是使用scala-2.10.4。

  这里 就是你的scala版本是2.11.X系列。

 

 

 

 

  同时,大家要养成规范,http://mvnrepository.com里是示例如下

org.apache.spark
spark-mllib_2.10
2.2.0
provided

 

 

  

   但是呢,我不建议这样。反而是把版本抽取出来,

 

 

 

   以下是我的maven构建出来的spark项目的pom.xml,大家可以作为参考下。当然这不是最规范的。

4.0.0
zhouls.bigdata
SparkMllibBook
1.0-SNAPSHOT
2008
2.10.4
UTF-8
2.6.0
2.2.0
scala-tools.org
Scala-Tools Maven2 Repository
http://scala-tools.org/repo-releases
scala-tools.org
Scala-Tools Maven2 Repository
http://scala-tools.org/repo-releases
org.scala-lang
scala-library
${scala.version}
junit
junit
4.4
test
org.specs
specs
1.2.5
test
org.apache.hadoop
hadoop-common
${hadoop.version}
provided
org.apache.hadoop
hadoop-hdfs
${hadoop.version}
provided
org.apache.hadoop
hadoop-mapreduce-client-common
${hadoop.version}
provided
org.apache.hadoop
hadoop-mapreduce-client-core
${hadoop.version}
provided
org.apache.spark
spark-core_2.10
${spark.version}
provided
org.apache.spark
spark-streaming_2.10
${spark.version}
provided
org.apache.spark
spark-sql_2.10
${spark.version}
provided
org.apache.spark
spark-mllib_2.10
${spark.version}
provided
src/main/scala
src/test/scala
org.scala-tools
maven-scala-plugin
compile
testCompile
${scala.version}
-target:jvm-1.5
org.apache.maven.plugins
maven-eclipse-plugin
true
ch.epfl.lamp.sdt.core.scalabuilder
ch.epfl.lamp.sdt.core.scalanature
org.eclipse.jdt.launching.JRE_CONTAINER
ch.epfl.lamp.sdt.launching.SCALA_CONTAINER
org.scala-tools
maven-scala-plugin
${scala.version}

 

 

  也许,大家在具体执行代码时,出现如下问题

 

转载于:https://www.cnblogs.com/zlslch/p/7446002.html

你可能感兴趣的文章
归并排序法
查看>>
【剑指offer】面试题26:复杂链表的复制
查看>>
spark开发生成EXE
查看>>
Vue 全家桶介绍
查看>>
WPF Bitmap转Imagesource
查看>>
Java compiler level does not match the version of the installed Java project facet.解决方法
查看>>
笔记_小结
查看>>
Linux lsof命令 umount U盘
查看>>
自定义Font
查看>>
linux svn 服务端搭建
查看>>
maven用途、核心概念、用法、常用参数和命令、扩展
查看>>
linux时间同步ntp服务的安装与配置
查看>>
django.core.exceptions.ImproperlyConfigured: Requested setting DEFAULT_INDEX_TABLESPACE的解决办法...
查看>>
网络编程-socket并发-粘包问题
查看>>
python 中安装pandas
查看>>
Hibernate 的<generator class="native"></generator>的不同属性含义
查看>>
linux修改root账户的用户名所得的教训
查看>>
【LeetCode】Flatten Binary Tree to Linked List
查看>>
读后感-浮生六纪
查看>>
执行指定路径的程序文件
查看>>