本文共 4435 字,大约阅读时间需要 14 分钟。
--启动、停止 群起 sbin/start-dfs.sh sbin/start-yarn.sh 单点启动 hdfs --daemon start namenode hdfs --daemon start datanode yarn --daemon start nodemanager --数据均衡 start-balancer.sh --刷新 hdfs dfsadmin -refreshNodes yarn rmadmin -refreshNodes --hadoop fs 具体命令 == hdfs dfs 具体命令 --上传 --从本地剪切 hadoop fs -moveFromLocal /本地路径 /HDFS路径 --从本地拷贝 hadoop fs -copyFromLocal /本地路径 /HFDS路径 hadoop fs -put /本地路径 /HDFS路径 --追加一个文件到已存在的文件末尾 hadoop fs -appendToFile /本地路径 /HDFS路径 -下载 --从HDFS拷贝到本地 hadoop fs -copyToLocal /HDFS路径 /本地路径 hadoop fs -get /HDFS路径 /本地路径 --合并下载多个文件 hadoop fs -getmerge /HDFS路径 /本地路径 --命令操作:跟linux命令用法类似,前面加上hadoop fs 或者 hdfs dfs -ls: 显示目录信息 -mkdir:在HDFS上创建目录 -cat:显示文件内容 -chgrp 、-chmod、-chown:Linux文件系统中的用法一样,修改文件所属权限 -cp :从HDFS的一个路径拷贝到HDFS的另一个路径 -mv:在HDFS目录中移动文件 -tail:显示一个文件的末尾1kb的数据 -rm:删除文件或文件夹 -du统计文件夹的大小信息 -setrep:设置HDFS中文件的副本数量 --查看Fsimage文件 hdfs oiv -p 文件类型 -i镜像文件 -o 转换后文件输出路径 --查看Edits文件 hdfs oev -p 文件类型 -i编辑日志 -o 转换后文件输出路径 --安全模式 bin/hdfs dfsadmin -safemode get (功能描述:查看安全模式状态) bin/hdfs dfsadmin -safemode enter (功能描述:进入安全模式状态) bin/hdfs dfsadmin -safemode leave (功能描述:离开安全模式状态) bin/hdfs dfsadmin -safemode wait (功能描述:等待安全模式状态)
--启动|关闭服务 bin/zkServer.sh start|status|stop --启动客户端 bin/zkCli.sh
--启动 bin/hive --启动hiveserver2 bin/hive --service hiveserver2 --启动beeline客户端 bin/beeline -u jdbc:hive2://hadoop102:10000 -n atguigu --hive交互命令 -d,--define --版本信息 -e --不进入hive的交互窗口执行sql语句 -f --执行脚本中sql语句 -H --help -i --初始化sql文件 --查看在hive中输入的所有历史命令 cat /home/user/hivehistory cat /home/user/beeline/history --命令行设置参数 bin/hive -hiveconf mapreduce.job.reduces=10; hive (default)> set mapreduce.job.reduces=10;
--开启flume bin/flume-ng agent --conf conf/ --name a1 --conf-file job/flume-netcat-logger.conf -Dflume.root.logger=INFO,console --第二种写法 bin/flume-ng agent -c conf/ -n a1 -f job/flume-netcat-logger.conf -Dflume.root.logger=INFO,console
1)查看当前服务器中所有的topic
--bootstrap-server == --zookepper 注意后面的端口号不一样
kafka-topics.sh --bootstrap-server hadoop102:9092 --list kafka-topics.sh --zookepper hadoop102:2181 --list
2)创建topic
kafka-topics.sh --bootstrap-server hadoop102:9092 --create --topic t_name replication-factor 3 partition 2
3)查看某个topic的详情
kafka-topic.sh --bootstrap-server hadoop102:9092 --describe --topic t_name
4)修改分区数
kafka-topics.sh --zookeeper hadoop102:2181 --alter --topic t_name --partitions 2
5)删除topic
kafka-topics.sh --bootstrap-server hadoop102:9092 --delete --topic t_name
6)发送消息
kafka-console-producer.sh --broker-list hadoop102:9092 --topic t_name
7)消费消息
消费连接topic后接收的数据,前面已有的不消费
kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic t_name
消费所有topic队列中的数据,前面已有的按分区消费读取
kafka-console_consumer.sh --bootstrap-server hadoop102:9092 --topic t_name --from-beginning
8)消费者组
通过修改配置文件创建 consumer.properties
group.id=mygroup
kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic t_name --consumer.config config/consumer.properties
通过命令行创建
kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic t_name --group group_name
启动、停止
zkServer.sh start/stop start-dfs.sh start-yarn.sh --启动hbase hbase-daemon.sh start master hbase-daemon.sh start regionserver --启动hbase客户端 hbase shell
namespace DDL
1.DDL #查看所有的namespace list_namespace #创建namespace create_namespace 'mydb',{'createtime'=>'2020-12-18'} #查看描述 describe_namespace 'mydb' #修改namesp alter_namespace 'mydb',{METHOD=>'set'} #删除namespace drop_namespace 'mydb' #查看namespace全部表 list_namespace_tbales 'mydb'
Table DDL
#查看所有的表 list #建表 create 'test1','f1','f2' create 'test1',{ NAME=>'f1'},{ NAME=>'f2'} create ‘mydb:test3’ #查看表的详情 describe '表名' desc '表名' #修改表 #添加列族 alter 'test1', 'NAME' =>'f3' #修改列族信息 alter 'test1', 'NAME' => 'f3',VERSIONS=>5 #删除列族 alter 'test1', NAME=>'f3',METHOD=>'delete' alter 'test1', 'delete'=>'f3' #删除表 先disable 再drop disable 'test2' dtop 'teset2'
Table DML
#1)插入数据put 'student','1001','info:name','guoguo'#2)查看数据#安照rowkey查询某一条数据get 'student' ,'1001'get 'student','1001','info:name'#3)修改数据put 'student','1001','info:name','zhangsan'#4)查看多个版本的数据scan 'student',{RAW=>true,VERSIONS=>3}scan 'student',{STARTROW=>'1001',STOPRPW=>'1002'}#5)删除数据delete 'student','1001','info:name' //删除最新版本的数据 Deletedeleteall 'studnet','1001','info:name' //删除某列的数据 DeleteColumndeleteall 'student', '1002' //删除某一行 DeleteDamily#6)统计行数count 'student'#7)清空表数据truncate 'student'
转载地址:http://evowx.baihongyu.com/