博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
cdatatable大数据操作_大数据——各种组件的shell操作
阅读量:5732 次
发布时间:2019-06-18

本文共 4435 字,大约阅读时间需要 14 分钟。

9f810bd7e5424cbb71b0396add883765.png

1.hadoop

--启动、停止 群起 sbin/start-dfs.sh sbin/start-yarn.sh 单点启动 hdfs --daemon start namenode hdfs --daemon start datanode yarn --daemon start nodemanager --数据均衡 start-balancer.sh --刷新 hdfs dfsadmin -refreshNodes yarn rmadmin -refreshNodes ​ --hadoop fs 具体命令  == hdfs dfs 具体命令  --上传 --从本地剪切 hadoop fs -moveFromLocal /本地路径 /HDFS路径 --从本地拷贝 hadoop fs -copyFromLocal /本地路径 /HFDS路径 hadoop fs -put /本地路径 /HDFS路径 --追加一个文件到已存在的文件末尾 hadoop fs -appendToFile /本地路径 /HDFS路径 -下载 --从HDFS拷贝到本地 hadoop fs -copyToLocal /HDFS路径 /本地路径 hadoop fs -get /HDFS路径 /本地路径 --合并下载多个文件 hadoop fs -getmerge /HDFS路径 /本地路径 ​ --命令操作:跟linux命令用法类似,前面加上hadoop fs 或者 hdfs dfs  -ls: 显示目录信息 -mkdir:在HDFS上创建目录 -cat:显示文件内容 -chgrp 、-chmod、-chown:Linux文件系统中的用法一样,修改文件所属权限 -cp :从HDFS的一个路径拷贝到HDFS的另一个路径 -mv:在HDFS目录中移动文件 -tail:显示一个文件的末尾1kb的数据 -rm:删除文件或文件夹 -du统计文件夹的大小信息 -setrep:设置HDFS中文件的副本数量 ​ --查看Fsimage文件 hdfs oiv -p 文件类型 -i镜像文件 -o 转换后文件输出路径 --查看Edits文件 hdfs oev -p 文件类型 -i编辑日志 -o 转换后文件输出路径 ​ --安全模式 bin/hdfs dfsadmin -safemode get     (功能描述:查看安全模式状态) bin/hdfs dfsadmin -safemode enter   (功能描述:进入安全模式状态) bin/hdfs dfsadmin -safemode leave   (功能描述:离开安全模式状态) bin/hdfs dfsadmin -safemode wait    (功能描述:等待安全模式状态) ​

2.zookeeper

--启动|关闭服务 bin/zkServer.sh start|status|stop --启动客户端 bin/zkCli.sh

d332ea5b96e12591441fcaf84604364f.png

3.hive

--启动 bin/hive --启动hiveserver2 bin/hive --service hiveserver2 --启动beeline客户端 bin/beeline -u jdbc:hive2://hadoop102:10000 -n atguigu ​ --hive交互命令     -d,--define --版本信息      -e   --不进入hive的交互窗口执行sql语句     -f   --执行脚本中sql语句     -H   --help                             -i   --初始化sql文件 --查看在hive中输入的所有历史命令 cat /home/user/hivehistory cat /home/user/beeline/history --命令行设置参数 bin/hive -hiveconf mapreduce.job.reduces=10; hive (default)> set mapreduce.job.reduces=10; ​

4.flume

--开启flume bin/flume-ng agent --conf conf/ --name a1 --conf-file job/flume-netcat-logger.conf -Dflume.root.logger=INFO,console --第二种写法 bin/flume-ng agent -c conf/ -n a1 -f job/flume-netcat-logger.conf -Dflume.root.logger=INFO,console

5.Kafka

1)查看当前服务器中所有的topic

--bootstrap-server == --zookepper 注意后面的端口号不一样

kafka-topics.sh --bootstrap-server hadoop102:9092 --list kafka-topics.sh --zookepper hadoop102:2181 --list

2)创建topic

kafka-topics.sh --bootstrap-server hadoop102:9092 --create --topic t_name replication-factor 3 partition 2

3)查看某个topic的详情

kafka-topic.sh --bootstrap-server hadoop102:9092 --describe --topic t_name

4)修改分区数

kafka-topics.sh --zookeeper hadoop102:2181 --alter --topic t_name --partitions 2

5)删除topic

kafka-topics.sh --bootstrap-server hadoop102:9092 --delete --topic t_name

6)发送消息

kafka-console-producer.sh --broker-list hadoop102:9092 --topic t_name

7)消费消息

消费连接topic后接收的数据,前面已有的不消费

kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic t_name

消费所有topic队列中的数据,前面已有的按分区消费读取

kafka-console_consumer.sh --bootstrap-server hadoop102:9092 --topic t_name --from-beginning

8)消费者组

通过修改配置文件创建 consumer.properties

group.id=mygroup

kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic t_name  --consumer.config config/consumer.properties

通过命令行创建

kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic t_name --group group_name

6.Hbase

启动、停止

zkServer.sh start/stop start-dfs.sh start-yarn.sh --启动hbase hbase-daemon.sh start master hbase-daemon.sh start regionserver --启动hbase客户端 hbase shell

namespace DDL

1.DDL ​ #查看所有的namespace list_namespace #创建namespace create_namespace 'mydb',{'createtime'=>'2020-12-18'} #查看描述 describe_namespace 'mydb' #修改namesp alter_namespace 'mydb',{METHOD=>'set'} #删除namespace drop_namespace 'mydb' #查看namespace全部表 list_namespace_tbales 'mydb'

Table DDL

#查看所有的表 list #建表 create 'test1','f1','f2' create 'test1',{
NAME=>'f1'},{
NAME=>'f2'} create ‘mydb:test3’ #查看表的详情 describe '表名' desc '表名' #修改表 #添加列族 alter 'test1', 'NAME' =>'f3' #修改列族信息 alter 'test1', 'NAME' => 'f3',VERSIONS=>5 #删除列族 alter 'test1', NAME=>'f3',METHOD=>'delete' alter 'test1', 'delete'=>'f3' #删除表 先disable 再drop disable 'test2' dtop 'teset2' ​ ​

Table DML

#1)插入数据put 'student','1001','info:name','guoguo'#2)查看数据#安照rowkey查询某一条数据get 'student' ,'1001'get 'student','1001','info:name'#3)修改数据put 'student','1001','info:name','zhangsan'#4)查看多个版本的数据scan 'student',{RAW=>true,VERSIONS=>3}scan 'student',{STARTROW=>'1001',STOPRPW=>'1002'}#5)删除数据delete 'student','1001','info:name' //删除最新版本的数据 Deletedeleteall 'studnet','1001','info:name' //删除某列的数据	DeleteColumndeleteall 'student', '1002'	//删除某一行 DeleteDamily#6)统计行数count 'student'#7)清空表数据truncate 'student'

7.Redis

1a1feb529e7fc8d6a8671a6d87c79fe5.png

8.Sqoop

c74f80e29a009eacb2af6e90851489ed.png

转载地址:http://evowx.baihongyu.com/

你可能感兴趣的文章
Linux系统的命令别名功能(转)
查看>>
vs2010在进行数据架构比较时报'text lines should not be null'错误
查看>>
实验楼学习linux第一章第四节linux目录结构及文件基本操作
查看>>
BZOJ1853:[SCOI2010]幸运数字 & BZOJ2393:Cirno的完美算数教室——题解
查看>>
Eclipse打开时“发现了以元素'd:skin'”开头的无效内容。此处不应含有子元素的解决方法...
查看>>
C#Contains方法的错误理解
查看>>
python实战===一行代码就能搞定的事情!
查看>>
linux卸载一个源码包安装的软件的流程
查看>>
python 基础复习 13
查看>>
该公众号暂时无法提供服务请稍后再试
查看>>
Android自定义组件系列【8】——遮罩文字动画
查看>>
使用OpenCV读取摄像头图像并显示
查看>>
Flask 上下文管理
查看>>
堆排序
查看>>
C++中const用法总结
查看>>
Java基础加强-代理
查看>>
Arduino和C51开发光敏传感器
查看>>
java_泛型方法使用实例
查看>>
guava cache简单学习笔记
查看>>
选课系统
查看>>