RDD转DataFrame的一道面试题

发表于 | 更新于 | 分类于 | 评论数： | 阅读次数：

题目

现在在我们HDFS文件系统上面 存了一个文件，该文件格式是 .txt文件格式，要求把这个文件格式转换成为parquet文件格式 :
解题思路:
1）先读取文件生成一个RDD
2）把RDD转换成为一个DataFrame，RDD[Person].toDF
3) 写数据，指定文件格式就可以了！！

代码实现 :

1
2
3
4
5
6
7
8
9
10
val conf = new SparkConf().setMaster("local").setAppName("DataFrameReflection")
    val sc = new SparkContext(conf)
    val sqlContext = new SQLContext(sc)

    import sqlContext.implicits._
    val peopelRDD: RDD[People] = sc.textFile("hdfs://hadoop01:9000/resources/people.txt")
      .map(line => People(line.split(",")(0),line.split(",")(1).trim.toInt))

    val df = peopelRDD.toDF()
    df.write.format("parquet").save("hdfs://hadoop01:9000/test/")

0%