弹性分布式数据集(Resilient Distributed Dataset),简称 RDD,RDD 是 Spark 所提供的最基本的数据抽象,代表分布在集群中多台机器上的对象集合。Spark 有两种方法可以创建 RDD:
用 SparkContext 基于外部数据源创建 RDD,外部数据源包括 HDFS 上的文件通过 JDBC 访问的数据库表Spark shell 创建的本地对象集合 在一个或多个已有 RDD 上执行转换操作来创建 RDD,这写转换操作包括: 记录过滤对具有相同键值的记录做汇总多个 RDD 关联在一起
val rdd1 = sc.textFile("")val rdd2 = sc.parallelize("")
1. 使用 SparkContext 的 textFile 方法得到 RDD 形式的数据引用:
scala> val rawData = sc.textFile("kddcup.data")rawData: org.apache.spark.rdd.RDD[String]
2. 把数据从集群上获取到客户端
注意此时类型为RDD[String]
的rawData
所引用的数据仍然在集群上存储。RDD 有许多方法,我们可以用其成员方法从集群读取数据到客户端机器上的 Scala REPL 中。最为简单的方法大概就是 first 了,该方法向客户端返回 RDD 的第一个元素(RDD 是弹性分布式数据集嘛):
scala> rawData.firstres0: String
first 方法可以对数据集做常规检查,但通常我们更想返回更多样例数据供客户端分析。
scala> rawData.countres1: Long = 4898431
如果 count 方法获悉 RDD只包含少量记录,可以用 collect 方法向客户端返回一个包含所有 RDD 内容的数组(Array[String]
)。此外还可以使用 take 方法该方法在 first 和 collect 之间做了一些折衷,可以向客户端返回一个包含指定数量记录的数组(Array[String]
),
scala> val head = rawData.take(10)head: Array[String] = Array(...)scala> head(0)res2: Stringscala> head.apply(0)res3: String