【大数据基础】常用命令

大数据 Alan 9年前 (2016-01-12) 4698次浏览 0个评论 扫描二维码

操作hdfs的相关命令

比如查看hdfs下的文件使用

hadoop fs -ls hdfs://hadoop01:9000/

hadoop fs -ls /

hadoop fs的其它选项:

[-appendToFile <localsrc> … <dst>]

[-cat [-ignoreCrc] <src> …]

[-checksum <src> …]

[-chgrp [-R] GROUP PATH…]

[-chmod [-R] <MODE[,MODE]… | OCTALMODE> PATH…]

[-chown [-R] [OWNER][:[GROUP]] PATH…]

[-copyFromLocal [-f] [-p] [-l] <localsrc> … <dst>]

[-copyToLocal [-p] [-ignoreCrc] [-crc] <src> … <localdst>]

[-count [-q] [-h] <path> …]

[-cp [-f] [-p | -p[topax]] <src> … <dst>]

[-createSnapshot <snapshotDir> [<snapshotName>]]

[-deleteSnapshot <snapshotDir> <snapshotName>]

[-df [-h] [<path> …]]

[-du [-s] [-h] <path> …]

[-expunge]

[-get [-p] [-ignoreCrc] [-crc] <src> … <localdst>]

[-getfacl [-R] <path>]

[-getfattr [-R] {-n name | -d} [-e en] <path>]

[-getmerge [-nl] <src> <localdst>]

[-help [cmd …]]

[-ls [-d] [-h] [-R] [<path> …]]

[-mkdir [-p] <path> …]

[-moveFromLocal <localsrc> … <dst>]

[-moveToLocal <src> <localdst>]

[-mv <src> … <dst>]

<spanÏ> [-put [-f] [-p] [-l] <localsrc> … <dst>]

[-renameSnapshot <snapshotDir> <oldName> <newName>]

[-rm [-f] [-r|-R] [-skipTrash] <src> …]

[-rmdir [–ignore-fail-on-non-empty] <dir> …]

[-setfacl [-R] [{-b|-k} {-m|-x <acl_spec>} <path>]|[–set <acl_spec> <path>]]

[-setfattr {-n name [-v value] | -x name} <path>]

[-setrep [-R] [-w] <rep> <path> …]

[-stat [format] <path> …]

[-tail [-f] <file>]

[-test -[defsz] <path>]

[-text [-ignoreCrc] <src> …]

[-touchz <path> …]

[-usage [cmd …]]

所有hadoop命令在2.0以后的版本都可以使用hdfs来实现,但如果我们输入如下命令会出现报错

[hadoop@hadoop02 ~]$ hdfs fs -ls /
Error: Could not find or load main class fs

实际是hdfs后接的应该是dfs,即hdfs dfs -ls /

HBase常用命令

hbase shell(bin目录下)进入hbase的shell命令窗口

Shell中命令

status(参数’simple’, ‘detailed’)查看状态

version查看HBase版本

whoami查看使用者用户名

list查看现有数据表

create创建数据表(如create ’employee’, ‘professional’, ‘personal’可创建名的employee包含两个column family的数据表)

describe以json格式返回指定表的字段信息(如describe ’employee’)

enable/disable

drop删除表之前需先执行disable指令

put添加或更新数据,如put ’employee’, ‘alan’, ‘professional:telno’, ‘123456789’

get接表名和行名查看数据,如get ’employee’, ‘alan’,甚至还可以加其它过滤,如列名:get ’employee’, ‘alan’, {COLUMNS => ‘professional:telno’}

scan查看数据,如scan ’employee’,显示所添加过的数据

【大数据基础】常用命令

scan命令还可加入参数如scan ’employee’, {VERSIONS => 3}同时显示历史数据,version的数量和我们在执行describe命令时看到的VERSIONS有关

其它

查看namenode是否开启了safe mode

hdfs dfsadmin -safemode get

很多错误会由于selinux未关闭,可通过getenforce进行查看,具体配置在以下文件中:

/etc/selinux/config

喜欢 (0)
[]
分享 (0)
发表我的评论
取消评论

表情 贴图 加粗 删除线 居中 斜体 签到

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址