操作hdfs的相关命令
比如查看hdfs下的文件使用
hadoop fs -ls hdfs://hadoop01:9000/
或
hadoop fs -ls /
hadoop fs的其它选项:
[-appendToFile <localsrc> … <dst>]
[-cat [-ignoreCrc] <src> …]
[-checksum <src> …]
[-chgrp [-R] GROUP PATH…]
[-chmod [-R] <MODE[,MODE]… | OCTALMODE> PATH…]
[-chown [-R] [OWNER][:[GROUP]] PATH…]
[-copyFromLocal [-f] [-p] [-l] <localsrc> … <dst>]
[-copyToLocal [-p] [-ignoreCrc] [-crc] <src> … <localdst>]
[-count [-q] [-h] <path> …]
[-cp [-f] [-p | -p[topax]] <src> … <dst>]
[-createSnapshot <snapshotDir> [<snapshotName>]]
[-deleteSnapshot <snapshotDir> <snapshotName>]
[-df [-h] [<path> …]]
[-du [-s] [-h] <path> …]
[-expunge]
[-get [-p] [-ignoreCrc] [-crc] <src> … <localdst>]
[-getfacl [-R] <path>]
[-getfattr [-R] {-n name | -d} [-e en] <path>]
[-getmerge [-nl] <src> <localdst>]
[-help [cmd …]]
[-ls [-d] [-h] [-R] [<path> …]]
[-mkdir [-p] <path> …]
[-moveFromLocal <localsrc> … <dst>]
[-moveToLocal <src> <localdst>]
[-mv <src> … <dst>]
<spanÏ> [-put [-f] [-p] [-l] <localsrc> … <dst>]
[-renameSnapshot <snapshotDir> <oldName> <newName>]
[-rm [-f] [-r|-R] [-skipTrash] <src> …]
[-rmdir [–ignore-fail-on-non-empty] <dir> …]
[-setfacl [-R] [{-b|-k} {-m|-x <acl_spec>} <path>]|[–set <acl_spec> <path>]]
[-setfattr {-n name [-v value] | -x name} <path>]
[-setrep [-R] [-w] <rep> <path> …]
[-stat [format] <path> …]
[-tail [-f] <file>]
[-test -[defsz] <path>]
[-text [-ignoreCrc] <src> …]
[-touchz <path> …]
[-usage [cmd …]]
所有hadoop命令在2.0以后的版本都可以使用hdfs来实现,但如果我们输入如下命令会出现报错
[hadoop@hadoop02 ~]$ hdfs fs -ls / Error: Could not find or load main class fs
实际是hdfs后接的应该是dfs,即hdfs dfs -ls /
HBase常用命令
hbase shell(bin目录下)进入hbase的shell命令窗口
Shell中命令
status(参数’simple’, ‘detailed’)查看状态
version查看HBase版本
whoami查看使用者用户名
list查看现有数据表
create创建数据表(如create ’employee’, ‘professional’, ‘personal’可创建名的employee包含两个column family的数据表)
describe以json格式返回指定表的字段信息(如describe ’employee’)
enable/disable
drop删除表之前需先执行disable指令
put添加或更新数据,如put ’employee’, ‘alan’, ‘professional:telno’, ‘123456789’
get接表名和行名查看数据,如get ’employee’, ‘alan’,甚至还可以加其它过滤,如列名:get ’employee’, ‘alan’, {COLUMNS => ‘professional:telno’}
scan查看数据,如scan ’employee’,显示所添加过的数据
scan命令还可加入参数如scan ’employee’, {VERSIONS => 3}同时显示历史数据,version的数量和我们在执行describe命令时看到的VERSIONS有关
其它
查看namenode是否开启了safe mode
hdfs dfsadmin -safemode get
很多错误会由于selinux未关闭,可通过getenforce进行查看,具体配置在以下文件中:
/etc/selinux/config