Chanhae Oh

빅데이터, 분석

Spark 로컬 개발환경 세팅(윈도우 + Intellij + scala + sbt)



1. IntelliJ 설치


IntelliJ IDEA 설치 URL



2. scala 플러그인 설치



3. 빌드 툴 SBT 설정



4. build.sbt 설정


name := "spark-test"

version := "1.0"

val sparkVersion = "2.4.8"

libraryDependencies ++= Seq(
  "org.apache.spark" %% "spark-core" % sparkVersion,
  "org.apache.spark" %% "spark-sql" % sparkVersion
)



5. winutils.exe 다운


하둡 버전에 맞는 winutils.exe를 다운 받는다.

winutils.exe 다운 링크



6. winutils.exe 경로 지정


C:\winutils\bin\winutils.exe



7. 샘플 코드


import org.apache.spark.sql.SparkSession

object HelloScala {
  def main(args: Array[String]){

    System.setProperty("hadoop.home.dir", "C:\\winutils")

    val spark = SparkSession.builder()
      .config("spark.driver.host", "localhost")
      .master("local[1]")
      .appName("Spark Test")
      .getOrCreate()

  }
}