Spark整合Elasticsearch-从ES读取数据

Spark整合Elasticsearch-从ES读取数据

由于ES集群在拉取数据时可以提供过滤功能，因此在采用ES集群作为spark运算时的数据来源时，
根据过滤条件在拉取的源头就可以过滤了（ES提供过滤），就不必像从hdfs那样必须全部加载进spark的内存根据filter算子过滤，费时费力。
代码：

import org.apache.spark.{SparkConf, SparkContext}
import org.elasticsearch.spark._
object Spark2Elasticsearch {
def main(args: Array[String]): Unit = {
val conf =new SparkConf().setAppName("Spark2ES").setMaster("local[2]")
conf.set("es.nodes","hadoop1,hadoop2,hadoop3")
conf.set("es.port","9200")
conf.set("es.index.auto.create","true")
val sc =new SparkContext(conf)
val query:String =s"""{
"query" : {
"match_all" : {}
},
"filter" : {
"term" : {
"price" : 50.55
}
}
}"""
val rdd = sc.esRDD("store", query)
println(rdd.collect().toBuffer)
}
}

运行结果：

采坑点：
那个sc.esRDD方法其实是ES提供的jar包里的一个隐试转换，在import org.elasticsearch.spark._这个包下，
配置mavin依赖时注意spark的配套版本，本文1.6的spark依赖如下：