Spark2.4.5词频统计(python)

使用jupyter notebook作为交互工具,python语言写。

代码

sc.textFile()用于加载文件数据。

words = sc.textFile('/data/word.txt')

结果:

/data/word.txt MapPartitionsRDD[3] at textFile at NativeMethodAccessorImpl.java:0

这是由于Spark的惰性操作。
添加行动操作:

words.first()

词频统计:

wordCount = words.flatMap(lambda line:line.split(" ")).map(lambda word:(word,1)).\
reduceByKey(lambda a, b: a+b)
wordCount.collect()

结果:

[('is', 42),
 ('sheet', 3),
 ('material', 6),
 ('produced', 7),
 ('mechanically', 2),
 ('and/or', 1),
 ('cellulose', 3),
 ('derived', 3),
 ('rags,', 1)]

textFile.flatMap()操作把多个单词集合“拍扁”到一个大的单词集合;
单词集合执行map()操作。
经过map,得到RDD,每个元素是(key,value)形式。最后执行reduceByKey()按照key进行分组,相同key的value相加。


参考:

  1. Spark2.1.0+入门:第一个Spark应用程序:WordCount(Python版);
已标记关键词 清除标记
©️2020 CSDN 皮肤主题: 酷酷鲨 设计师:CSDN官方博客 返回首页