前面讲过了如何使用和配置Maven，那么接下来就使用Maven编写一个MapReduce程序，这里参照某视频教程中的程序进行编写。首先在前面创建的datacount项目的src/main/java下创建一个类，基本配置如下：以下例子来自于传智播客某视频教程：使用MapReduce程序分析一段手机访问日志，获取对应的上行流量、下行流量和总流量，以下是……继续阅读 » Alan 10年前 (2016-02-21) 6993浏览 0评论1个赞
Alan在安装CentOS时使用的是minimal文件，所以需要先安装图形化界面如果安装中出现如下报错请使用yum grouplist（或yum grouplist | grep ‘KDE\|GNOME’进行更精准查询）查看所在机器对应的KDE或GNOME组名是什么，修改组名再进行安装。安装完成后在命令行输入init 5临时打开……继续阅读 » Alan 10年前 (2016-02-21) 6934浏览 0评论0个赞
Hadoop中最重要的两个部分就要属HDFS和MapReduce了，本文我们一起来探讨一下如何来实现MapReduce的入门级程序Word Count。测试数据Hello TomHello JerryHello KittyHello WorldHello Tom如何编写MapReduce Word Count代码？本例中我们手动写入了输入输出……继续阅读 » Alan 10年前 (2016-02-03) 5933浏览 0评论0个赞
我们都知道CentOS 6.x上的PHP版本为5.3.3，那么如果想要升级到更高的版本要怎么办呢？这里使用Magento官方文档中提到的rpm包来进行相关安装但是如果之前已经安装过php的朋友可能会发现无法进行安装，此时请先删除php-common即执行再进行安装可发现会正常进行新版本的升级，我这里演示的是5.6.x的版本，您也可以选择PHP 7.……继续阅读 » Alan 10年前 (2016-02-02) 7279浏览 0评论0个赞
操作hdfs的相关命令比如查看hdfs下的文件使用hadoop fs -ls hdfs://hadoop01:9000/或hadoop fs -ls /hadoop fs的其它选项：[-appendToFile <localsrc> … <dst>][-cat [-ignoreCrc] <src>……继续阅读 » Alan 10年前 (2016-01-12) 5524浏览 0评论0个赞
本文使用环境为在VirtualBox上安装的CentOS虚拟机。这个安装部分比较简单，不再赘述，对这块不太熟悉的话可以参考【大数据基础】VirtualBox安装CentOS实操，考虑到生产环境多采用64位，本文中也使用64位的系统进行安装。一、准备工作在进入前需先做好网络配置，这部分在【大数据基础】VirtualBox安装CentOS实操中也做了介绍。接……继续阅读 » Alan 10年前 (2016-01-04) 52398浏览 0评论0个赞
首先下载VirtualBox并安装，可在官网根据所使用的系统直接下载：https://www.virtualbox.org/wiki/Downloads。VirtualBox和一般的软件安装并没有什么差别，这里略过不提。注：本文中使用Mac OS X系统进行操作，但文中的方法也同样适用Windows系统安装完后打开VirtualBox，点击New添加虚拟……继续阅读 » Alan 10年前 (2016-01-04) 7787浏览 0评论0个赞
网络设置首先在本地安装VirtualBox，然后添加CentOS虚拟机，都是常规安装，这里要稍加强调的是网络设置。打开对应机器的Settings>Network,然后配置网卡适配器为Bridged Adapter，Alan使用的是Mac采用无线上网，所以选择en0: Wi-Fi(Airport)，另外请注意勾选下面的Cable Connected……继续阅读 » Alan 10年前 (2015-12-28) 6876浏览 0评论0个赞
Nginx的gzip模块是内置的，在http中添加如下配置： 配置指令详细注释：gzip on|off# 默认值: gzip off# 开启或者关闭gzip模块gzip_static on|off# nginx对于静态文件的处理模块# 该模块可以读取预先压缩的gz文件，这样可以减少每次请求进行gzip压缩的CPU资源消耗。该模块启用……继续阅读 » Alan 10年前 (2015-11-16) 5750浏览 0评论0个赞
JAVA常用：Cmd+Shift+F 代码格式调整Cmd+Shift+O 库文件导入一、Command类Command+1快速修复Command+d删除当前行Command+Option+↓复制当前行到下一行Command+Option+↑复制当前行到上一行Command+←移动光标至当前行的行首……继续阅读 » Alan 10年前 (2015-11-16) 6927浏览 0评论0个赞
