不多说,直接上干货!
http://mvnrepository.com/
这里,怎么创建,见
这里, 我重点说下spark项目,因为,对于hadoop这样的,我已经写了大量博客了。
比如,我目前用得较多的spark-mllib。
这里 就是你的scala版本是2.10.X系列。比如我一般是使用scala-2.10.4。
这里 就是你的scala版本是2.11.X系列。
同时,大家要养成规范,http://mvnrepository.com里是示例如下
org.apache.spark spark-mllib_2.10 2.2.0 provided
但是呢,我不建议这样。反而是把版本抽取出来,
以下是我的maven构建出来的spark项目的pom.xml,大家可以作为参考下。当然这不是最规范的。
4.0.0 zhouls.bigdata SparkMllibBook 1.0-SNAPSHOT 2008 2.10.4 UTF-8 2.6.0 2.2.0 scala-tools.org Scala-Tools Maven2 Repository http://scala-tools.org/repo-releases scala-tools.org Scala-Tools Maven2 Repository http://scala-tools.org/repo-releases org.scala-lang scala-library ${scala.version} junit junit 4.4 test org.specs specs 1.2.5 test org.apache.hadoop hadoop-common ${hadoop.version} provided org.apache.hadoop hadoop-hdfs ${hadoop.version} provided org.apache.hadoop hadoop-mapreduce-client-common ${hadoop.version} provided org.apache.hadoop hadoop-mapreduce-client-core ${hadoop.version} provided org.apache.spark spark-core_2.10 ${spark.version} provided org.apache.spark spark-streaming_2.10 ${spark.version} provided org.apache.spark spark-sql_2.10 ${spark.version} provided org.apache.spark spark-mllib_2.10 ${spark.version} provided src/main/scala src/test/scala org.scala-tools maven-scala-plugin compile testCompile ${scala.version} -target:jvm-1.5 org.apache.maven.plugins maven-eclipse-plugin true ch.epfl.lamp.sdt.core.scalabuilder ch.epfl.lamp.sdt.core.scalanature org.eclipse.jdt.launching.JRE_CONTAINER ch.epfl.lamp.sdt.launching.SCALA_CONTAINER org.scala-tools maven-scala-plugin ${scala.version}
也许,大家在具体执行代码时,出现如下问题