HDFS小文件过多的危害和解决方案

HDFS（Hadoop分布式文件系统）中小文件过多危害

1.存储空间浪费：HDFS是为大容量文件设计的，存储大量小文件会浪费存储空间，因为每个文件都会占用一定的存储块。

2.元数据压力：HDFS中的NameNode负责管理文件系统的元数据，包括文件名、目录结构和文件属性等。大量小文件会增加元数据的数量，可能导致NameNode的负载过重，影响整个文件系统的性能。

3.数据访问效率低下：由于小文件数量众多，可能会导致MapReduce等计算框架中作业的启动时间变长，因为需要处理大量的输入分片。

解决方案

1.合并小文件：将多个小文件合并成一个大文件，可以通过Hadoop Archive（HAR）或SequenceFile等格式进行合并，减少元数据数量和存储空间的浪费。

2.利用HBase等存储系统：对于需要频繁访问的小文件，可以考虑使用HBase等NoSQL数据库来存储，以提高访问效率。

3.使用归档工具：对于不经常访问的小文件，可以使用归档工具将它们压缩或打包成归档文件，从而减少存储空间的占用。

4.调整存储策略：根据实际需求和应用场景，可以考虑调整存储策略，例如使用不同的块大小或副本数来适应小文件存储的需求。

通过以上方法，可以有效地解决HDFS中小文件过多带来的问题，提高文件系统的性能和资源利用率。

合并小文件脚本
归档操作 hadoop archive -Dmapreduce.job.queuename=root.etl -archiveName data.har -p 多线程
归档后删掉原文件，然后重新SET LOCATION ‘har://hdfs-cluster/user/hive/warehouse/dp_ods.db/ ${table_name}/etl_date=$ {current_date}/data.har’

#!/bin/bash
source /etc/profile
start_date=$2
end_date=$3
table_name=$1

tmp_fifofile="/tmp/$$.fifo"
mkfifo $tmp_fifofile
exec 6<>$tmp_fifofile
rm $tmp_fifofile
thread_num=10

for ((i=0;i<${thread_num};i++));do
    echo
done >&6



table_location="/user/hive/warehouse/dp_ods.db/"

table_path=$table_location$table_name/

partition_tag='etl_date'

current_date=$(date -d "$start_date" +%Y-%m-%d)
while [[ "$current_date" < "$end_date" ]]; do

read -u6
{
    echo $tablepath$current_date
     hadoop archive -Dmapreduce.job.queuename=root.etl -archiveName data.har -p "$table_path$partition_tag=$current_date" "$table_path$partition_tag=$current_date"
     if [ $? -eq 0 ]; then
 echo "har success $table_path$partition_tag=$current_date"
        hdfs dfs -rm -r "$table_path$partition_tag=$current_date/0*"
        hdfs dfs -rm -r "$table_path$partition_tag=$current_date/p*"
        hive -e "set role admin; use dp_ods; ALTER TABLE  $table_name  PARTITION(etl_date='${current_date}') set LOCATION  'har://hdfs-cluster/user/hive/warehouse/dp_ods.db/${table_name}/etl_date=${current_date}/data.har';"
    else 
 echo "har error $table_path$partition_tag=$current_date"
     
    fi
 echo >&6
}&
    
current_date=$(date -d "$current_date + 1 day" +%Y-%m-%d)
done
wait