本篇文章主要介绍了"顶 Spark 之SparkStreaming 1"，主要涉及到stream,sparks方面的内容，对于软件工程感兴趣的同学可以参考一下：
本文假设读者已经完成了Spark安装，可以正常运行spark-shell启动 spark-shell ，# spark-shell窗口
./spark-shel...
本文假设读者已经完成了Spark安装，可以正常运行spark-shell
启动 spark-shell ，
# spark-shell窗口
./spark-shell --master local[2] # 使用2个core
local[2]，因为需要分配一个来监听。
另外打开一个shell窗口
通过socket往 本机9999端口发送数据
# nc窗口
nc -lk 9999
回到spark-shell窗口，
import org.apache.spark.streaming.{Durations, StreamingContext}
// 创建StreamingContext，每5秒批量执行次任务
val ssc = new StreamingContext(sc,Durations.seconds(5))
// 监听本地9999端口
val words = ssc.socketTextStream("localhost",9999).flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_)
words.print
ssc.start然后在nc窗口，随便按下几个带空格的数据。如下图：
最多过5秒，可以看到spark-shell窗口有反应了。
至此，简单的SparkStreaming已经跑通。
官方SparkStreaming入门
感谢王家林老师的知识分享
王家林老师名片：
中国Spark第一人
新浪微博：http://weibo.com/ilovepains
微信公众号：DT_Spark
博客：http://blog.sina.com.cn/ilovepains
手机：18610086859
QQ：1740415547
邮箱：18610086859@vip.126.com
YY课堂：每天20:00现场授课频道68917580
王家林：DT大数据梦工厂创始人、Spark亚太研究院院长和首席专家、大数据培训专家、大数据架构师。
Spark、Flink、Docker、Android技术中国区布道师。
国内最早一批从事Android、Hadoop、Spark、Docker的研究者，在Spark、Hadoop、Android、Docker等方面有丰富的源码、实务和性能优化经验。是该领域的知名咨询顾问、培训专家；
Spark最佳畅销书《大数据spark企业级实战》和《Spark大数据实例开发jrs看球网直播吧_低调看直播体育app软件下载_低调看体育直播》作者；
Android移动互联网兴起以来，近10本的IT畅销书作者；
为大量企业进行技术培训和服务，包括：
三星、惠普、爱立信、摩托罗拉、索尼、华为、夏普、南方航空公司、中国国际航空公司、金立、海信、长虹、英特尔、阿尔法特、中国联通、华三、AIA、亿迅、中国电信、网龙、福赛、中国人寿、阳光保险、兴业银行等。
找我报名有会员价哦。
以上就介绍了顶 Spark 之SparkStreaming 1，包括了stream,sparks方面的内容，希望对软件工程有兴趣的朋友有所帮助。
本文网址链接：http://www.codes51.com/article/detail_794898.html
