二、分布式文件系统HDFS及其简单使用

在当今的企业环境中，单台计算机的存储容量通常不足以应对海量数据的需求，因此需要跨机器进行存储。这种跨机器统一管理的文件系统被称为分布式文件系统。

HDFS（Hadoop Distributed File System）是Apache Hadoop项目的一部分，专门用于存储大规模数据（如TB和PB级别），它以HDFS作为其存储系统。HDFS通过多台计算机存储文件，并提供统一的访问接口。

HDFS的设计灵感来源于谷歌的论文《The Google File System》。

HDFS由四个基本组件组成：HDFS Client、NameNode、DataNode和Secondary NameNode。

客户端（Client）负责将文件分割成多个Block，并上传到HDFS。它还提供管理和访问HDFS的命令，如启动或关闭HDFS。

NameNode作为HDFS的管理者，负责管理元数据（文件路径、文件大小、文件名、文件权限和Block切片信息）。它还管理Block的副本策略，默认设置为3个副本，并处理客户端的读写请求。

DataNode是执行实际操作的节点，负责存储实际的数据块，执行数据块的读写操作，并定期向NameNode报告Block信息。

Secondary NameNode不是NameNode的备份，不能在NameNode故障时立即接替服务，但它能分担NameNode的工作量，并在紧急情况下辅助恢复NameNode。

HDFS设计为在庞大的集群中可靠地存储超大文件。每个文件被存储为多个数据块（Block），除了最后一个，所有的数据块大小相同。为了容错，每个文件的Block都有多个副本。文件的Block大小和副本系数是可配置的。在Hadoop 2中，文件的Block大小默认设置为128M（134217728字节）。

如图所示，一个300M的a.txt文件上传到HDFS时，会被分割成128M的Block，不足128M的部分会单独存储在一个Block中。

互连在线双语商务版

全自动化、全智能的在线方式管理、维护、更新的网站管理系统主要功能如下：一、系统管理：管理员管理，可以新增管理员及修改管理员密码；数据库备份，为保证您的数据安全本系统采用了数据库备份功能；上传文件管理，管理你增加产品时上传的图片及其他文件。二、企业信息：可设置修改企业的各类信息及介绍。 三、产品管理：产品类别新增修改管理，产品添加修改以及产品的审核。四、订单管理：查看订单的详细信息及订单处理。 五、

0 查看详情

HDFS的基本命令如下：

命令	说明
hadoop fs -mkdir /park	在HDFS根目录下创建park目录
hadoop fs -ls /	查看HDFS根目录下的目录
hadoop fs -put /root/1.txt /park	将Linux系统root目录下的1.txt上传到HDFS的park目录
hadoop fs -get /park/jdk /home	从HDFS的park目录下载文件到Linux的home目录
hadoop fs -rm /park/文件名	删除HDFS的park目录下的指定文件
hadoop fs -rmdir /park	删除park目录，但前提是目录内没有文件
hadoop fs -rmr /park	删除park目录，即使目录内有文件
hadoop fs -cat /park/a.txt	查看park目录下的a.txt文件内容
hadoop fs -tail /park/a.txt	查看park目录下a.txt文件末尾的数据
hadoop jar xxx.jar	执行jar包

HDFS的简单使用示例：假设我们的HDFS根目录是hdfs://192.168.147.128:9820，我们尝试在根目录下创建一个名为user的子目录，命令如下：

[hadoop@node01 ~]$ hadoop fs -mkdir /user

然后在Hadoop页面打开HDFS。

此时，你将看到新创建的user文件夹。

接下来，将一个大小为300M的文件上传到HDFS的user文件夹中。

然后在Hadoop页面上可以看到刚刚上传的文件。

此时，文件被分成了三个Block。

点击download按钮，即可下载文件。

• END -

以上就是二、分布式文件系统HDFS及其简单使用的详细内容，更多请关注其它相关文章！