Hadoop学习笔记-HDFS篇（一）

HDFS实际上是Hadoop的两大核心组件之一，是分布式文件存储系统。

---

安装Hadoop 

这里就不做过多的介绍了，网上有很多安装的指南。可以安装单机模式，也可以安装伪分布式，也可以安装分布式。

这里给出一个非常详细的安装指南的链接：

单机和伪分布式(Ubuntu上安装)  http://dblab.xmu.edu.cn/blog/install-hadoop/

分布式集群安装(Ubuntu上安装)  http://dblab.xmu.edu.cn/blog/install-hadoop-cluster/

---

操作HDFS的一些基本命令

1.hadoop fs -ls  查看 /user/用户名/下的文件  [-R] 同时列出子目录

如果要列出某一个文件夹下面的内容，需要在后面跟上文件夹名字的全路径

如果想查看hdfs下所有的文件和文件夹，haoop fs -ls -R / 这样就可以查出全路径了

或者

2.hadoop fs -mkdir dirname 创建文件夹，文件夹名为dirname

3.hadoop fs -rm dirname/filename 删除文件或文件夹

4.hadoop fs -put local_file  hdfs_path 将文件上传到指定的hdfs目录中

5.hadoop fs -get hdfs_file local_path 将hdfs上的文件下载到指定的本地路径当中

---

查看hdfs文件系统的三种方法

1.使用插件-Hadoop-Eclipse-Plugin

2.HDFS web界面  http://localhost:50070

3.Shell命令

这里有详细的介绍 http://dblab.xmu.edu.cn/blog/893-2/