在Windows单机环境下搭建Hadoop环境，Apache官网提供的是借助cygwin搭建的方法(详见这里)。本文提供的是一种不借助cygwin的方式，具体步骤如下： 一、下载安装包 由于hadoop依赖于jdk，所以需要...

方法定义： 1.reduceByKey(func[,num Tasks]) 当键值相同的键值对(K,V)数据集调用此方法，他们的键对应的值会根据指定的函数(func)进行聚合，而键值(V,V)也进行合并，返回键值(V)，最终返回一个...

本文不再更新，完整安装过程及常见错误处理，请移步：CentOS如何升级openssl到最新版本； 官网：https://www.openssl.org/； 下载页面：https://www.openssl.org/source/； 最新版本：https://w...

短 一天很短， 短得来不及拥抱清晨， 就已经手握黄昏。 一年很短， 短得来不及细品初春殷红窦绿， 就要打点素裹秋霜。 一生很短， 短的来不及享用美好年华， 就已经身处迟暮。 总是经过的太快，...

使用IntelliJ IDEA过程中进行svn配置： 首先下载TortoiseSVN-1.9.6.27867-x64-svn-1.9.6.msi，安装时记得勾选command line，默认是不安装此项的； 打开idea->File->setting，进行如下配置：

这里说的daemontools是指一类软件的总称，这类软件都可以保证你的进行在后台一直运行。这类软件包括：python实现的supervisord、perl实现的ubic、以及ruby实现的god等，你可以挑选其中一款，来...

为了让logstash的后台服务运行的更优雅一点，这里介绍一种通过screen方式实现logstash的后台一直运行。通过screen命令创建的终端命令，其父进程不是sshd登陆会话，而是screen。这样就可以避免用...

Logstash最初使用的时候是直接从官网下载压缩包解压之后，执行bin目录的logstash命令运行的，这种情形下，我们通常使用 Ctrl+C来停止运行。但是在实际环境中，我们可能需要长期的运行程序，再这...

Logstash最初使用的时候是直接从官网下载压缩包解压之后，我们可以在用户终端执行bin目录的logstash命令来运行logstash程序。如果需要长期运行的话，我们需要将logstash任务放在后台一直运行，...

据说，每一个看完这篇文章的人都会忍不住点个赞！ 故事发生在3个月前，那时的我天真的以为在终端直接执行logstash就可以搞定一切，然而一个血淋林的事实让这一切发生了改变：实际生产中我们需要...