在Spark中,sortByKey
函数维护元素的顺序。它接收键值对(K,V)
作为输入,按升序或降序对元素进行排序,并按顺序生成数据集。
sortByKey函数的示例
在此示例中,按升序和降序排列数据集的元素。要在Scala模式下打开Spark
,请按照以下命令操作。
$ spark-shell
使用并行化集合创建RDD。
scala> val data = sc.parallelize(Seq(("C",3),("A",1),("D",4),("B",2),("E",5)))
现在,可以使用以下命令读取生成的结果。
scala> data.collect
升序,应用sortByKey()
函数来忽略重复的元素。
scala> val sortfunc = data.sortByKey()
现在,可以使用以下命令读取生成的结果。
scala> sortfunc.collect
在这里,得到了所需的输出。对于降序,应用sortByKey()
函数并将布尔类型作为参数传递。
scala> val sortfunc = data.sortByKey(false)
现在,可以使用以下命令读取生成的结果。
scala> sortfunc.collect