美文网首页大数据
python操作hdfs及hbase

python操作hdfs及hbase

作者: 佛系小懒 | 来源:发表于2020-02-01 20:15 被阅读0次

操作HDFS

创建目录

client.makedirs("/tmp/ct/test51")

默认权限755,用户名:dr.who  

可以创建多层级目录   (类似mkdir -p)

如果存在权限不足,可以通过命令行对上层目录权限进行修改: hadoop dfs -chmod -R 777 /tmp    或者hdfs的配置文件中,将dfs.permissions修改为False (出方法暂未尝试)

操作Hbase

前置:安装并启动hbase的thrift服务

pip install thrift

pip install hbase-thrift

启动thrift服务

命令:hbase-daemon.sh start thrift  (基于HBASE_HOME/sbin已经被添加进系统PATH)

检测:netstat -nlp | grep 9090 (thrift启动默认端口)

相关文章

网友评论

    本文标题:python操作hdfs及hbase

    本文链接:https://www.haomeiwen.com/subject/eawxxhtx.html