Alan Hou的个人博客更换主题了,使用中如有问题欢迎反馈~

大数据,数据挖掘,数据分析,Big Data, Data Mining, Data Analysis

高等数学—元素和极限

高等数学—元素和极限
实数的定义 高数->连续 线性代数->离散 概率统计 R 实数 Z 整数 Q 有理数 \( q \over p\)\( 且 q,p \in Z \) 分划: 全集为K \( A \bigcup B = K \) \( A \bigcap B = \emptyset \) 戴德金分划: 将全集Q分为A,B两个集合 s.t. \( A \bigc……继续阅读 »

Alan 11个月前 (03-18) 68浏览 0评论 0个赞

数据挖掘的方法论之CRISP-DM

数据挖掘的方法论之CRISP-DM
在1996年,当时数据挖掘市场是年轻而不成熟的,但是这个市场显示了爆炸式的增长。三个在这方面经验丰富的公司DaimlerChrysler、SPSS、NCR发起建立一个社团,目的建立数据挖掘方法和过程的标准。在获得了EC(European Commission)的资助后,他们开始实现他们的目标。为了征集业界广泛的意见共享知识,他们创建了CRISP-DM Spe……继续阅读 »

Alan 3年前 (2016-08-18) 52浏览 0评论 0个赞

使用Python进行数据分析I 环境准备

使用Python进行数据分析I 环境准备
下载Python包并安装:https://www.continuum.io/downloads Alan采用Mac OSX进行操作,这里下载最新版Python 3.5 在Terminal中输入python即可进入python命令行界面通过输出Hello, world!来进行验证,后面我们将需要NumPy, Pandas, Matplotlib, iPyth……继续阅读 »

Alan 3年前 (2016-07-31) 63浏览 0评论 0个赞

【大数据基础】使用Maven编写第一个MapReduce程序

【大数据基础】使用Maven编写第一个MapReduce程序
前面讲过了如何使用和配置Maven,那么接下来就使用Maven编写一个MapReduce程序,这里参照某视频教程中的程序进行编写。 首先在前面创建的datacount项目的src/main/java下创建一个类,基本配置如下: 以下例子来自于传智播客某视频教程: 使用MapReduce程序分析一段手机访问日志,获取对应的上行流量、下行流量和总流量,以下是日……继续阅读 »

Alan 3年前 (2016-02-21) 63浏览 0评论 0个赞

【大数据基础】如何使用和配置Maven

【大数据基础】如何使用和配置Maven
Alan在安装CentOS时使用的是minimal文件,所以需要先安装图形化界面 如果安装中出现如下报错 请使用yum grouplist(或yum grouplist | grep ‘KDE\|GNOME’进行更精准查询)查看所在机器对应的KDE或GNOME组名是什么,修改组名再进行安装。 安装完成后在命令行输入init 5临时打开……继续阅读 »

Alan 3年前 (2016-02-21) 51浏览 0评论 0个赞

【大数据基础】第一个MapReduce程序

【大数据基础】第一个MapReduce程序
Hadoop中最重要的两个部分就要属HDFS和MapReduce了,本文我们一起来探讨一下如何来实现MapReduce的入门级程序Word Count。 测试数据 Hello Tom Hello Jerry Hello Kitty Hello World Hello Tom 如何编写MapReduce Word Count代码? 本例中我们手动写入了输入输出……继续阅读 »

Alan 3年前 (2016-02-03) 59浏览 0评论 0个赞

【大数据基础】Hadoop集群环境伪分布式配置

【大数据基础】Hadoop集群环境伪分布式配置
本文使用环境为在VirtualBox上安装的CentOS虚拟机。这个安装部分比较简单,不再赘述,对这块不太熟悉的话可以参考【大数据基础】VirtualBox安装CentOS实操,考虑到生产环境多采用64位,本文中也使用64位的系统进行安装。 一、准备工作 在进入前需先做好网络配置,这部分在【大数据基础】VirtualBox安装CentOS实操中也做了介绍。接……继续阅读 »

Alan 3年前 (2016-01-04) 54浏览 0评论 0个赞

【大数据基础】VirtualBox安装CentOS实操

【大数据基础】VirtualBox安装CentOS实操
首先下载VirtualBox并安装,可在官网根据所使用的系统直接下载:https://www.virtualbox.org/wiki/Downloads。VirtualBox和一般的软件安装并没有什么差别,这里略过不提。 注:本文中使用Mac OS X系统进行操作,但文中的方法也同样适用Windows系统 安装完后打开VirtualBox,点击New添加虚拟……继续阅读 »

Alan 3年前 (2016-01-04) 59浏览 0评论 0个赞