600字范文,内容丰富有趣,生活中的好帮手!
600字范文 > Spark 基础 —— RDD(创建 RDD)的两种方式

Spark 基础 —— RDD(创建 RDD)的两种方式

时间:2019-07-25 03:29:36

相关推荐

Spark 基础 —— RDD(创建 RDD)的两种方式

弹性分布式数据集(Resilient Distributed Dataset),简称 RDD,RDD 是 Spark 所提供的最基本的数据抽象,代表分布在集群中多台机器上的对象集合。Spark 有两种方法可以创建 RDD:

用 SparkContext 基于外部数据源创建 RDD,外部数据源包括 HDFS 上的文件通过 JDBC 访问的数据库表Spark shell 创建的本地对象集合 在一个或多个已有 RDD 上执行转换操作来创建 RDD,这写转换操作包括: 记录过滤对具有相同键值的记录做汇总多个 RDD 关联在一起

val rdd1 = sc.textFile("")val rdd2 = sc.parallelize("")

1. 使用 SparkContext 的 textFile 方法得到 RDD 形式的数据引用:

scala> val rawData = sc.textFile("kddcup.data")rawData: org.apache.spark.rdd.RDD[String]

2. 把数据从集群上获取到客户端

注意此时类型为RDD[String]rawData所引用的数据仍然在集群上存储。RDD 有许多方法,我们可以用其成员方法从集群读取数据到客户端机器上的 Scala REPL 中。最为简单的方法大概就是 first 了,该方法向客户端返回 RDD 的第一个元素(RDD 是弹性分布式数据集嘛):

scala> rawData.firstres0: String

first 方法可以对数据集做常规检查,但通常我们更想返回更多样例数据供客户端分析。

scala> rawData.countres1: Long = 4898431

如果 count 方法获悉 RDD只包含少量记录,可以用 collect 方法向客户端返回一个包含所有 RDD 内容的数组(Array[String])。此外还可以使用 take 方法该方法在 first 和 collect 之间做了一些折衷,可以向客户端返回一个包含指定数量记录的数组(Array[String]),

scala> val head = rawData.take(10)head: Array[String] = Array(...)scala> head(0)res2: Stringscala> head.apply(0)res3: String

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。