数据挖掘的方法论之CRISP-DM

数据挖掘的方法论之CRISP-DM
在1996年,当时数据挖掘市场是年轻而不成熟的,但是这个市场显示了爆炸式的增长。三个在这方面经验丰富的公司DaimlerChrysler、SPSS、NCR发起建立一个社团,目的建立数据挖掘方法和过程的标准。在获得了EC(European Commission)的资助后,他们开始实现他们的目标。为了征集业界广泛的意见共享知识,他们创建了CRISP-DM Spe……继续阅读 »

Alan 9年前 (2016-08-18) 7783浏览 0评论0个赞

使用Python进行数据分析I 环境准备

使用Python进行数据分析I 环境准备
下载Python包并安装:https://www.continuum.io/downloadsAlan采用Mac OSX进行操作,这里下载最新版Python 3.5在Terminal中输入python即可进入python命令行界面通过输出Hello, world!来进行验证,后面我们将需要NumPy, Pandas, Matplotlib, iPyt……继续阅读 »

Alan 9年前 (2016-07-31) 6345浏览 0评论0个赞

MySQL监控

MySQL监控
可用性监控确认数据库是否可以通过网络连接mysqladmin -umonitor_user -p -h ping #远程服务器上执行telent ip dp_port #手动使用程序通过网络建立数据库连接(推荐)read_only是否为off建立监控表并对表中数据进行更新执行简单的查询select @@version监控数据库的连接数sho……继续阅读 »

Alan 9年前 (2016-07-26) 6719浏览 0评论0个赞

MySQL性能优化

MySQL性能优化
通过Profile查看SQL各个阶段所消耗的时间进而采取有针对性的优化在上图中我们看到显示了一个warning,那这是什么原因导致的呢,执行因此在MySQL5.6以后实际上官方推荐使用的是Performance Schema,下面是使用Performance Schema方法此时再执行同样的语句常用的优化方法1.大表数据的修改采取分批处理……继续阅读 »

Alan 10年前 (2016-07-21) 8055浏览 0评论0个赞

MySQL MHA高可用架构

MySQL MHA高可用架构
MySQL MHA高可用架构主要用于:监控主数据库服务器是否可用当主DB不可用时,从多个从服务器中选举出新的主数据库服务器提供了主从切换和故障转移功能配置步骤首先参考MySQL主从复制的中基于GTID复制的配置方法配置三台服务器1.建立主从复制群,MHA可同时支持基于日志点和基于GTID的主从复制,推荐采用基于GTID的主从复制(MMM仅支持……继续阅读 »

Alan 10年前 (2016-07-18) 13297浏览 0评论1个赞

MySQL MMM高可用架构

MySQL MMM高可用架构
MMM(Multi-Master Replication Manager)监控和管理MySQL的主主复制拓扑:MMM部署步骤1.配置主主复制及主从同步集群更详细配置方法可参见MySQL主从复制一文主1:192.168.0.131主2:192.168.0.3从1:192.168.0.9(本例仅使用一台从服务器,多台配置方法相同)虚拟IP:1……继续阅读 »

Alan 10年前 (2016-07-17) 6670浏览 0评论0个赞

MySQL主从复制

MySQL主从复制
基于日志点的主从复制在主服务器上创建用户CREATE USER ‘repl’ @ ‘IP段’ IDENTIFIED BY ‘pass’;GRANT REPLICATION SLAVE ON *.* TO ‘repl’ @ ‘IP段’……继续阅读 »

Alan 10年前 (2016-07-16) 11674浏览 0评论3个赞

MySQL二进制日志文件

MySQL二进制日志文件
基于段的格式 binlog_format=STATEMENT进入MySQL进行查看,会发现默认的二进制日志格式即为STATEMENT(5.7版本以后默认为ROW),这种方式会记录每条SQL语句,如需非默认修改时建议使用使用flush logs进行刷新show variables like ‘binlog_format’;show……继续阅读 »

Alan 10年前 (2016-07-16) 6520浏览 0评论0个赞

MySQL基准测试

MySQL基准测试
常见指标:TPS(Transaction per Second)QPS(Query per Second)响应时间并发量步骤计划和设计基准测试准备基准测试及数据收集脚本容易忽略的问题使用生产环境数据时只使用了部分数据在多用户场景中,只做单用户的测试在单服务器上测试分布式应用反复执行同一查询mysqlslapMySQL服务器自带的基……继续阅读 »

Alan 10年前 (2016-07-14) 5527浏览 0评论0个赞