标签：SPARK

方法定义：

赞(0)Ddmit2019-02-12后端 阅读(3371)去评论

目前Apache Spark支持三种分布式部署方式，分别是standalone、spark on mesos和 spark on YARN，其中，第一种类似于MapReduce 1.0所采用的模式，内部实现了容错性和资源管理，后两种则是未来...

赞(0)Ddmit2019-02-12后端 阅读(1877)去评论

以下是整理的Spark中的一些配置参数，官方文档请参考Spark Configuration。

赞(0)Ddmit2019-02-12后端 阅读(1826)去评论

在使用Spark执行任务时，如果是同时提交多个任务，然后通过端口18080查看任务的状态会发现有的任务的状态为waiting状态，控制台提示：Initial job has not accepted any resources; check...

赞(0)Ddmit2019-02-12后端 阅读(4826)去评论

环境搭建 由于平时开发工作主要在windows平台进行，所以在Windows平台搭建spark开发环境很有必要，在开始进行程序开发之前你可能需要参考以下文章：

赞(0)Ddmit2019-02-12后端 阅读(2209)去评论

这篇文章介绍如何在Windows上运行Apache Spark 。

赞(0)Ddmit2019-02-12后端 阅读(2332)去评论

本文介绍了Spark中mapToPair和flatMapToPair的区别。

赞(0)Ddmit2019-02-12后端 阅读(4426)去评论

本文介绍了Spark中map(func)和flatMap(func)这两个函数的区别及具体使用。

赞(0)Ddmit2019-02-12后端 阅读(7437)去评论