以下是整理的Spark中的一些配置参数，官方文档请参考Spark Configuration。 Spark提供三个位置用来配置系统： Spark属性：控制大部分的应用程序参数，可以用SparkConf对象或者Java系统属性设置...

为你的bat文件或应用程序注册为windows服务的步骤如下： 第一步： 下载微软系统小工具 instsrv.exe和srvany.exe复制到C:\Windows\System32目录（64位操作系统复制一份到C:\Windows\SysWOW64目录...

在使用Spark执行任务时，如果是同时提交多个任务，然后通过端口18080查看任务的状态会发现有的任务的状态为waiting状态，控制台提示：Initial job has not accepted any resources; check your ...

使用IntelliJ Idea时，想从远程仓库执行fetch，push，pull命令时提示Could not read from remote repository.具体如下 14:31:53 Push failed: Failed with error: fatal: Could not read from r...

在自己电脑上安装完oracle数据库，由于不是经常用，所以时常忘记密码。在这里把重新设置oracle密码的方法记下来，备忘。 1.首先打开cmd命令窗口，执行以下命令进入sql命令模式 sqlplus /nolog 2...

环境搭建 由于平时开发工作主要在windows平台进行，所以在Windows平台搭建spark开发环境很有必要，在开始进行程序开发之前你可能需要参考以下文章： 在Windows平台安装Hadoop(不借助cygwin)； ...

这篇文章介绍如何在Windows上运行Apache Spark 。 一、环境要求 运行spark需要以下条件的支持： Java6+ Scala 2.10.x Hadoop 2.7.x 二、安装步骤 安装Jdk 7 或更高版本，设置Java_Home和Path环...

本文介绍了Spark中mapToPair和flatMapToPair的区别。 函数原型 1.JavaPairRDD<K2,V2> mapToPair(PairFunction<T,K2,V2> f) 此函数会对一个RDD中的每个元素调用f函数，其中原来RDD中的每一...

本文介绍了Spark中map(func)和flatMap(func)这两个函数的区别及具体使用。 函数原型 1.map(func) 将原数据的每个元素传给函数func进行格式化，返回一个新的分布式数据集。(原文：Return a new d...

一、介绍： 使用java.util.ResourceBundle这个类可以实现在Java中轻松的读取资源属性文件（.properties），然后获取属性文件(.properties)文件的内容。 使用这个类，要注意的一点是，这个proper...