从零搭建Hadoop+Hive+Spark集群：手把手实战电影数据分析全流程

最近在辅导几位刚转行大数据的朋友时发现他们普遍卡在同一个地方网上教程要么只讲理论要么环境搭建一步一坑好不容易装好HadoopHive和SparkSQL又连不上学了一堆命令却不知道如何串联起来解决一个真实的数据分析问题。这让我意识到一份从零开始、手把手、环境可复现、流程可闭环的实战教程是多么重要。本文正是为此而生。我将带你从一台干净的Linux服务器或虚拟机开始完成Hadoop 3.x、Hive 3.x、Spark 3.x的集群搭建并最终通过一个完整的电影评分数据分析案例将三者串联运用。无论你是学生备战“创新杯”大数据挑战赛还是开发者寻求技能突破这套保姆级指南都能让你避开我踩过的所有坑真正掌握大数据开发的工程化全流程。1. 大数据技术栈核心概念与场景在动手之前我们需要厘清几个核心工具的角色及其关系这能帮助你在后续配置和排错时理解“为什么这么做”。1.1 Hadoop分布式存储与计算的基石Hadoop不是一个单一软件而是一个生态系统其核心是解决海量数据TB/PB级的存储和计算问题。它主要包含两大组件HDFS (Hadoop Distributed File System)分布式文件系统。它将大文件切分成块Block默认128MB分散存储在多台机器上并提供高容错性。你可以把它理解为一个跨越多个服务器的超级大硬盘。YARN (Yet Another Resource Negotiator)资源调度器。它负责管理集群的计算资源CPU、内存并为上层计算框架如MapReduce、Spark分配资源。YARN让Hadoop从单一的MapReduce框架演变为一个多计算框架的资源管理平台。应用场景当单机磁盘无法存下你的数据或单机计算需要数天时就需要Hadoop。它是所有后续大数据处理的基础。1.2 Hive基于Hadoop的数据仓库工具直接使用Java编写MapReduce程序处理数据非常繁琐。Hive应运而生它定义了类SQL的查询语言HiveQL可以将SQL语句自动转换为MapReduce、Tez或Spark任务在Hadoop上执行。核心价值让熟悉SQL的数据分析师或开发人员也能处理Hadoop上的数据极大降低了使用门槛。元数据MetadataHive的表结构字段名、类型、表与HDFS文件的映射关系等信息需要存储在一个关系型数据库中如MySQL这被称为“元数据”。Hive服务本身不存数据数据仍在HDFS上。表类型这是面试和实战中的高频考点。内部表Managed TableHive全面管理其数据和元数据。删除表时HDFS上的数据也会被删除。外部表External TableHive只管理元数据。数据存储在指定的HDFS路径上删除表仅删除元数据HDFS数据依然存在。生产环境常用外部表避免误删数据。分区表Partitioned Table根据某个字段如dt‘20240501’将数据分到不同HDFS目录查询时可通过分区过滤大幅提升查询效率。分桶表Bucketed Table在分区或全表基础上根据哈希值将数据分成多个文件常用于提升JOIN和采样效率。1.3 Spark SQL高性能分布式SQL引擎虽然Hive让写SQL成为可能但底层的MapReduce计算模型磁盘IO开销大速度较慢。Spark SQL是Spark生态中用于处理结构化数据的模块。核心优势基于内存计算比Hive on MapReduce快数倍到上百倍。它提供了DataFrame/Dataset API支持Scala、Java、Python、R和完整的SQL支持。与Hive的关系Spark SQL可以兼容Hive的元数据、UDF用户自定义函数和大部分HiveQL语法。这意味着你可以用Spark SQL直接查询Hive中创建的表享受Spark的速度同时利用Hive成熟的元数据管理。我们常说的“Hive on Spark”是指用Spark作为Hive的执行引擎而“Spark SQL 连接 Hive”是指Spark作为客户端去读Hive的表。1.4 典型数据处理流程一个完整的数据分析管道Pipeline通常是这样的数据采集日志、业务数据通过Flume、Sqoop、Kafka等工具进入HDFS。数据存储原始数据以文件形式存储在HDFS。数据定义使用Hive创建外部表将HDFS文件路径与表结构映射。数据加工使用Spark SQL或Hive SQL编写复杂的ETL抽取、转换、加载任务进行数据清洗、聚合、关联并将结果写回HDFS形成新的表。数据服务处理后的数据可供BI工具如Superset、Tableau查询或供机器学习模型使用。接下来我们将通过实战让这个流程跑通。2. 环境准备与规划本次实战我们采用1台Master节点 2台Slave节点的伪分布式集群模式所有进程跑在一台机器但配置为分布式架构这最适合学习和测试。生产环境则需要多台独立物理机或虚拟机。2.1 基础环境要求操作系统CentOS 7.x 或 Ubuntu 20.04 LTS。本文以CentOS 7.9为例。机器配置Master节点建议4核CPU、8GB内存、50GB磁盘。Slave节点可适当降低。确保网络互通主机名解析正常。软件版本这是避坑的关键不同版本间兼容性差异很大。JavaJDK 8 (1.8.0_281以上)。大数据生态对JDK 8兼容性最好。Hadoop3.3.4稳定版。我们将从Apache官网下载。Hive3.1.3。与Hadoop 3.3.4兼容良好。Spark3.3.2 (Pre-built with Hadoop 3)。选择预编译版避免漫长编译。MySQL5.7。用于存储Hive元数据。2.2 系统基础配置在Master节点上操作以下步骤至关重要。1. 配置静态IP与主机名解析编辑网络配置和hosts文件确保三台机器能通过主机名互相访问。# 编辑 hosts 文件 sudo vi /etc/hosts # 添加以下内容根据你的实际IP修改 192.168.1.100 master 192.168.1.101 slave1 192.168.1.102 slave2 # 设置本机主机名在master节点执行 sudo hostnamectl set-hostname master # 同样需要在slave1和slave2节点分别设置主机名2. 关闭防火墙与SELinux集群间通信需要开放众多端口学习环境建议直接关闭。# 关闭防火墙 sudo systemctl stop firewalld sudo systemctl disable firewalld # 关闭SELinux sudo setenforce 0 sudo sed -i s/^SELINUXenforcing$/SELINUXdisabled/ /etc/selinux/config3. 创建专用用户为Hadoop集群创建一个专门的用户避免使用root更安全。sudo groupadd hadoop sudo useradd -g hadoop hadoop echo hadoop | sudo passwd --stdin hadoop # 设置密码为 hadoop4. 配置SSH免密登录Master需要能免密登录到所有Slave节点以启动进程。# 切换至hadoop用户 su - hadoop # 生成密钥对 ssh-keygen -t rsa -P -f ~/.ssh/id_rsa # 将公钥分发到本机(master)和所有slave节点 ssh-copy-id master ssh-copy-id slave1 ssh-copy-id slave2 # 测试免密登录 ssh slave1 hostname # 应输出 slave1且无需密码5. 安装Java# 上传或下载JDK 8 tar包例如 jdk-8u381-linux-x64.tar.gz sudo tar -zxvf jdk-8u381-linux-x64.tar.gz -C /opt/ sudo mv /opt/jdk1.8.0_381 /opt/java # 配置环境变量编辑 /etc/profile sudo vi /etc/profile # 在文件末尾添加 export JAVA_HOME/opt/java export PATH$JAVA_HOME/bin:$PATH # 使配置生效 source /etc/profile # 验证安装 java -version3. Hadoop 3.3.4 集群搭建详解3.1 下载与解压su - hadoop cd /opt sudo wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz sudo tar -zxvf hadoop-3.3.4.tar.gz sudo mv hadoop-3.3.4 /opt/hadoop sudo chown -R hadoop:hadoop /opt/hadoop3.2 核心配置文件修改Hadoop的配置集中在$HADOOP_HOME/etc/hadoop/目录下。我们需要配置以下文件1. hadoop-env.sh设置Java环境cd /opt/hadoop/etc/hadoop vi hadoop-env.sh # 找到 export JAVA_HOME 这一行取消注释并修改为 export JAVA_HOME/opt/java2. core-site.xml定义HDFS默认的访问地址和临时目录configuration !-- 指定HDFS的NameNode地址9000是RPC通信端口 -- property namefs.defaultFS/name valuehdfs://master:9000/value /property !-- Hadoop运行时产生的临时文件目录 -- property namehadoop.tmp.dir/name value/opt/hadoop/data/tmp/value /property /configuration3. hdfs-site.xmlHDFS相关配置configuration !-- 指定HDFS副本数量伪分布式设为1 -- property namedfs.replication/name value1/value /property !-- SecondaryNameNode的HTTP服务地址 -- property namedfs.namenode.secondary.http-address/name valuemaster:9868/value /property /configuration4. mapred-site.xmlMapReduce配置configuration !-- 指定MapReduce运行在YARN上 -- property namemapreduce.framework.name/name valueyarn/value /property /configuration5. yarn-site.xmlYARN资源调度配置configuration !-- 指定ResourceManager地址 -- property nameyarn.resourcemanager.hostname/name valuemaster/value /property !-- NodeManager上运行的附属服务需包含shuffle -- property nameyarn.nodemanager.aux-services/name valuemapreduce_shuffle/value /property /configuration6. workers指定DataNode和NodeManager节点vi workers # 清空原有内容添加以下行 master slave1 slave23.3 将Hadoop分发到Slave节点cd /opt scp -r hadoop slave1:/opt/ scp -r hadoop slave2:/opt/ # 确保slave节点上的/opt/hadoop目录属主也是hadoop用户3.4 启动与验证Hadoop集群1. 格式化NameNode首次启动前必须执行且仅执行一次hdfs namenode -format看到successfully formatted字样表示成功。2. 启动HDFS# 在master节点执行 start-dfs.sh使用jps命令查看进程。在master上应看到NameNode和SecondaryNameNode在slave上应看到DataNode。3. 启动YARNstart-yarn.sh在master上应看到ResourceManager在slave上应看到NodeManager。4. 验证集群Web UIHDFS: http://master:9870YARN: http://master:8088命令行测试# 在HDFS上创建目录 hdfs dfs -mkdir -p /user/hadoop # 上传本地文件到HDFS echo Hello Hadoop test.txt hdfs dfs -put test.txt /user/hadoop/ # 查看HDFS文件 hdfs dfs -ls /user/hadoop # 运行一个MapReduce示例程序 hadoop jar /opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar pi 2 4至此一个可用的Hadoop集群已搭建完成。4. Hive 3.1.3 安装与配置Hive需要依赖Hadoop和元数据库MySQL。我们已经有了Hadoop接下来安装MySQL并配置Hive。4.1 安装与配置MySQL 5.7# 1. 下载并安装MySQL社区版Yum源 sudo rpm -Uvh https://dev.mysql.com/get/mysql80-community-release-el7-7.noarch.rpm # 2. 禁用默认的8.0版本启用5.7版本 sudo yum-config-manager --disable mysql80-community sudo yum-config-manager --enable mysql57-community # 3. 安装MySQL服务器和客户端 sudo yum install -y mysql-community-server mysql-community-client # 4. 启动并设置开机自启 sudo systemctl start mysqld sudo systemctl enable mysqld # 5. 获取初始临时密码 sudo grep temporary password /var/log/mysqld.log # 6. 运行安全配置向导并设置root密码如‘Hive123456’ sudo mysql_secure_installation登录MySQL为Hive创建数据库和用户。mysql -u root -p -- 创建Hive元数据库 CREATE DATABASE metastore CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci; -- 创建Hive用户并授予权限 CREATE USER hive% IDENTIFIED BY Hive123456; GRANT ALL PRIVILEGES ON metastore.* TO hive%; GRANT ALL PRIVILEGES ON metastore.* TO hivelocalhost; FLUSH PRIVILEGES; EXIT;4.2 安装与配置Hive# 1. 下载解压 cd /opt sudo wget https://archive.apache.org/dist/hive/hive-3.1.3/apache-hive-3.1.3-bin.tar.gz sudo tar -zxvf apache-hive-3.1.3-bin.tar.gz sudo mv apache-hive-3.1.3-bin /opt/hive sudo chown -R hadoop:hadoop /opt/hive # 2. 配置环境变量编辑 ~/.bashrc (hadoop用户) vi ~/.bashrc # 添加以下内容 export HIVE_HOME/opt/hive export PATH$HIVE_HOME/bin:$PATH # 使配置生效 source ~/.bashrc3. 配置Hive配置文件进入$HIVE_HOME/conf目录需要创建或修改几个文件。cd /opt/hive/confhive-env.sh复制模板并修改cp hive-env.sh.template hive-env.sh vi hive-env.sh # 找到并设置以下变量 export HADOOP_HOME/opt/hadoop export HIVE_CONF_DIR/opt/hive/conf export HIVE_AUX_JARS_PATH/opt/hive/libhive-site.xml核心配置文件连接MySQL和Hadoop?xml version1.0? ?xml-stylesheet typetext/xsl hrefconfiguration.xsl? configuration !-- 连接元数据库的JDBC URL -- property namejavax.jdo.option.ConnectionURL/name valuejdbc:mysql://master:3306/metastore?createDatabaseIfNotExisttrueuseSSLfalseuseUnicodetruecharacterEncodingUTF-8/value /property !-- JDBC驱动类 -- property namejavax.jdo.option.ConnectionDriverName/name valuecom.mysql.cj.jdbc.Driver/value /property !-- 数据库用户名 -- property namejavax.jdo.option.ConnectionUserName/name valuehive/value /property !-- 数据库密码 -- property namejavax.jdo.option.ConnectionPassword/name valueHive123456/value /property !-- Hive数据在HDFS上的存储路径 -- property namehive.metastore.warehouse.dir/name value/user/hive/warehouse/value /property !-- 本地模式执行 -- property namehive.exec.mode.local.auto/name valuetrue/value /property !-- 显示当前数据库名 -- property namehive.cli.print.current.db/name valuetrue/value /property /configuration4. 上传MySQL JDBC驱动将MySQL的JDBC驱动包如mysql-connector-java-5.1.49.jar放入$HIVE_HOME/lib目录。cp mysql-connector-java-5.1.49.jar /opt/hive/lib/5. 初始化Hive元数据库这是关键一步在MySQL中创建Hive所需的表结构。schematool -initSchema -dbType mysql看到schemaTool completed表示初始化成功。4.3 启动Hive并测试1. 启动Hive CLI命令行界面确保Hadoop集群已启动。hive成功进入后提示符会变为hive。2. 执行基础SQL测试-- 显示所有数据库 show databases; -- 创建测试数据库 create database test_db; use test_db; -- 创建一张内部表 create table student (id int, name string, age int) row format delimited fields terminated by ,; -- 查看表结构 desc student; -- 准备本地数据文件 vi /home/hadoop/student.txt -- 内容如下 -- 1,张三,20 -- 2,李四,22 -- 3,王五,21 -- 将数据加载到Hive表 load data local inpath /home/hadoop/student.txt into table student; -- 查询数据 select * from student; -- 统计行数 select count(*) from student;如果查询能正常返回结果说明Hive安装成功并且能正确操作HDFS上的数据。5. Spark 3.3.2 安装与集成HiveSpark可以独立运行但我们的目标是让它能读取Hive的元数据实现SQL互操作。5.1 安装Sparkcd /opt # 下载预编译版选择与Hadoop 3.3兼容的版本 sudo wget https://archive.apache.org/dist/spark/spark-3.3.2/spark-3.3.2-bin-hadoop3.tgz sudo tar -zxvf spark-3.3.2-bin-hadoop3.tgz sudo mv spark-3.3.2-bin-hadoop3 /opt/spark sudo chown -R hadoop:hadoop /opt/spark # 配置环境变量 vi ~/.bashrc # 添加 export SPARK_HOME/opt/spark export PATH$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH export PYSPARK_PYTHONpython3 # 如果要用PySpark source ~/.bashrc5.2 配置Spark以集成HiveSpark需要知道Hive的元数据存储在哪个MySQL里因此需要将Hive的配置文件hive-site.xml复制到Spark的配置目录。cp /opt/hive/conf/hive-site.xml /opt/spark/conf/同时也需要将MySQL的JDBC驱动包复制到Spark的jars目录。cp /opt/hive/lib/mysql-connector-java-5.1.49.jar /opt/spark/jars/5.3 启动Spark并验证集成1. 启动Spark ShellScala版进行测试cd /opt/spark bin/spark-shell --master local[2]启动后会进入Scala交互式环境。2. 在Spark Shell中测试Hive集成// 1. 创建SparkSession并启用Hive支持 import org.apache.spark.sql.SparkSession val spark SparkSession.builder() .appName(SparkHiveTest) .enableHiveSupport() // 关键启用Hive支持 .getOrCreate() // 2. 设置日志级别避免过多输出 spark.sparkContext.setLogLevel(WARN) // 3. 查看Hive中的数据库此时读取的是Hive的元数据库 spark.sql(show databases).show() // 4. 切换到之前在Hive中创建的test_db spark.sql(use test_db) // 5. 查询之前在Hive中创建的student表 spark.sql(select * from student).show() // 预期输出 // ---------- // | id|name|age| // ---------- // | 1|张三| 20| // | 2|李四| 22| // | 3|王五| 21| // ---------- // 6. 使用Spark DataFrame API进行复杂操作 val df spark.table(student) df.filter($age 20).show()如果成功查询到Hive中已有的数据恭喜你Spark SQL与Hive的集成已经成功这意味着你可以用Spark的高速引擎来处理Hive表数据。3. 使用Spark SQL Thrift Server可选提供JDBC服务如果你想通过JDBC类似用DBeaver、DataGrip等工具连接Spark SQL可以启动Thrift Server。cd /opt/spark sbin/start-thriftserver.sh \ --master local \ --hiveconf hive.server2.thrift.port10001 \ --hiveconf hive.server2.thrift.bind.hostmaster之后就可以用beeline客户端或JDBC连接jdbc:hive2://master:10001进行访问。6. 全流程实战电影评分数据分析现在我们将Hadoop、Hive、SparkSQL串联起来完成一个经典的数据分析案例分析电影评分数据找出最受欢迎的电影和评分最苛刻的用户。6.1 数据准备与HDFS上传我们使用GroupLens提供的MovieLens小数据集ml-latest-small。下载数据集并解压。我们主要使用两个文件ratings.csv用户评分数据userId, movieId, rating, timestampmovies.csv电影信息数据movieId, title, genres将数据上传至HDFS# 在HDFS上创建项目目录 hdfs dfs -mkdir -p /user/hadoop/movielens/raw # 上传本地文件到HDFS hdfs dfs -put ratings.csv /user/hadoop/movielens/raw/ hdfs dfs -put movies.csv /user/hadoop/movielens/raw/ # 查看上传结果 hdfs dfs -ls -R /user/hadoop/movielens6.2 使用Hive创建外部表并探索数据进入Hive CLI创建外部表指向HDFS上的原始数据。-- 使用我们之前创建的数据库或新建一个 create database if not exists movielens; use movielens; -- 创建评分外部表 create external table ratings_raw ( userid int, movieid int, rating double, timestamp bigint ) row format delimited fields terminated by , stored as textfile location /user/hadoop/movielens/raw/ tblproperties (skip.header.line.count1); -- 跳过CSV文件头 -- 创建电影信息外部表 create external table movies_raw ( movieid int, title string, genres string ) row format delimited fields terminated by , stored as textfile location /user/hadoop/movielens/raw/ tblproperties (skip.header.line.count1); -- 验证数据加载 select count(*) from ratings_raw; -- 应返回约10万行 select * from movies_raw limit 5;6.3 使用Spark SQL进行数据清洗与转换Hive SQL适合做简单的探查和定义复杂的ETL我们交给更快的Spark SQL。启动spark-shell。// 启用Hive支持复用之前的SparkSession创建代码或新建 val spark SparkSession.builder() .appName(MovieLensAnalysis) .enableHiveSupport() .getOrCreate() spark.sparkContext.setLogLevel(WARN) // 1. 将Hive中的原始表注册为Spark的临时视图也可直接使用spark.sql查询 spark.sql(use movielens) val ratingsDF spark.table(ratings_raw) val moviesDF spark.table(movies_raw) // 2. 数据清洗示例过滤掉评分为0的记录如果有 val cleanedRatingsDF ratingsDF.filter($rating 0) // 3. 数据转换将timestamp转换为可读日期 import org.apache.spark.sql.functions._ val ratingsWithDateDF cleanedRatingsDF.withColumn(rating_date, from_unixtime($timestamp)) // 4. 创建临时视图方便后续SQL查询 ratingsWithDateDF.createOrReplaceTempView(ratings) moviesDF.createOrReplaceTempView(movies)6.4 核心数据分析编写Spark SQL查询现在我们利用创建好的视图进行数据分析。查询1找出平均评分最高的20部电影要求评分人数50val topMoviesDF spark.sql( SELECT m.movieid, m.title, COUNT(r.rating) as rating_count, ROUND(AVG(r.rating), 3) as avg_rating FROM ratings r JOIN movies m ON r.movieid m.movieid GROUP BY m.movieid, m.title HAVING rating_count 50 ORDER BY avg_rating DESC LIMIT 20 ) topMoviesDF.show(false) // false表示不截断长字符串查询2找出评分最苛刻的用户平均评分最低和最爱打高分的用户val userRatingStatsDF spark.sql( SELECT userid, COUNT(*) as rating_count, ROUND(AVG(rating), 3) as avg_rating, MIN(rating) as min_rating, MAX(rating) as max_rating FROM ratings GROUP BY userid HAVING rating_count 30 -- 只考虑活跃用户 ORDER BY avg_rating ASC -- 最苛刻用户排前面 LIMIT 10 ) userRatingStatsDF.show()查询3计算每个电影类型的平均评分// 电影类型genres是多个类型用‘|’分隔需要先展开 val explodedMoviesDF spark.sql( SELECT movieid, title, explode(split(genres, \\|)) as genre FROM movies ) explodedMoviesDF.createOrReplaceTempView(movies_exploded) val genreAvgRatingDF spark.sql( SELECT mg.genre, COUNT(*) as movie_count, ROUND(AVG(r.rating), 3) as avg_rating FROM ratings r JOIN movies_exploded mg ON r.movieid mg.movieid GROUP BY mg.genre ORDER BY avg_rating DESC ) genreAvgRatingDF.show()6.5 将分析结果写回Hive表将处理后的高质量数据保存为Hive表供后续BI工具查询。// 将DataFrame保存为Hive内部表会存储在HDFS的warehouse目录 topMoviesDF.write.mode(overwrite).saveAsTable(movielens.top_movies) // 或者保存为Hive外部表指定HDFS路径 userRatingStatsDF.write .mode(overwrite) .option(path, /user/hadoop/movielens/result/user_stats) .saveAsTable(movielens.user_stats_external)现在你可以回到Hive CLI或通过Spark SQL查询这些结果表。-- 在Hive中查询 use movielens; select * from top_movies limit 10;7. 集群管理、常见问题与排查思路大数据集群的运维离不开日常管理和问题排查。以下是高频问题清单。问题现象可能原因排查思路与解决方案Hadoop启动失败NameNode或DataNode进程不存在1. 配置文件错误如端口占用、路径错误。2. 多次格式化NameNode导致clusterID不一致。3. 磁盘空间不足。1. 检查core-site.xml和hdfs-site.xml配置特别是主机名和端口。2. 查看$HADOOP_HOME/logs/下的相关日志文件如hadoop-hadoop-namenode-master.log。3. 检查dfs.namenode.name.dir和dfs.datanode.data.dir指向的目录权限。Hive启动报错Failed to start database ‘metastore‘1. MySQL服务未启动或无法连接。2. MySQL驱动包未放置或版本不对。3. Hive元数据库未初始化或初始化失败。1.systemctl status mysqld检查MySQL状态。2. 用mysql -uhive -p测试能否连接。3. 检查hive-site.xml中的JDBC连接字符串、用户名密码。4. 确认mysql-connector-java-*.jar在$HIVE_HOME/lib下。5. 删除MySQL中的metastore库重新执行schematool -initSchema。Spark SQL查询Hive表报Table or view not found1. Spark未正确集成Hive缺少hive-site.xml。2. SparkSession未启用Hive支持。3. 表存在于其他数据库未切换或未指定库名。1. 确认hive-site.xml已复制到$SPARK_HOME/conf。2. 创建SparkSession时必须调用.enableHiveSupport()。3. 在查询前执行spark.sql(“use database_name”)或使用database_name.table_name格式。任务运行缓慢或OOM内存溢出1. 资源分配不合理。2. 数据倾斜某个Key的数据量远大于其他。3. SQL或代码写法低效。1. 调整YARN资源yarn.nodemanager.resource.memory-mb,yarn.scheduler.maximum-allocation-mb。2. 调整Spark executor内存spark.executor.memory,spark.executor.cores。3. 对于数据倾斜考虑对倾斜Key加盐salt或使用两阶段聚合。HDFSdfs -put上传文件报No space left on device1. HDFS集群存储空间已满。2. DataNode磁盘已满。1. 通过Web UI (9870) 查看HDFS存储使用情况。2. 清理HDFS无用文件hdfs dfs -rm -r /trash/*。3. 增加DataNode节点或扩容磁盘。日常管理命令备忘HDFS查看报告hdfs dfsadmin -report安全模式hdfs dfsadmin -safemode get/enter/leaveYARN查看应用yarn application -list/yarn application -kill application_idHive查看表信息desc formatted table_name;Spark查看运行应用yarn application -list | grep spark8. 生产环境最佳实践与学习路线8.1 从学习到生产的进阶建议高可用HA部署生产环境NameNode和ResourceManager必须部署为HA模式避免单点故障。这需要ZooKeeper配合。权限与安全启用Kerberos认证并通过Sentry或Ranger管理Hive/Spark的细粒度数据权限。资源队列隔离在YARN上配置Capacity Scheduler或Fair Scheduler为不同团队或业务划分资源队列避免相互影响。数据生命周期管理对HDFS和Hive表制定明确的保留策略定期归档冷数据清理临时数据控制成本。监控与告警集成Prometheus Grafana监控集群CPU、内存、磁盘、IO以及YARN队列资源使用率、HDFS存储量。关键指标如DataNode宕机、磁盘使用率90%配置告警。8.2 大数据开发技能学习路线如果你希望系统性地提升可以按以下路径推进基础夯实1-2个月Linux基础命令与Shell脚本。Java/Scala/Python至少精通一门。SQL高级用法窗口函数、性能优化。核心组件2-3个月Hadoop理解HDFS/YARN架构掌握基础命令。Hive精通DDL/DML理解各种表类型、分区、分桶、文件格式ORC, Parquet和压缩。Spark Core SQL理解RDD/DataFrame熟练使用Spark SQL进行ETL开发。生态扩展2-3个月数据采集学习Flume, Sqoop, Kafka。任务调度学习Azkaban, Airflow, DolphinScheduler。OLAP引擎了解Kylin, Druid, ClickHouse。实时计算入门Flink或Spark Streaming。项目实战与优化持续参与或模仿一个完整的数据仓库项目如电商用户行为分析。学习性能调优解决数据倾斜、小文件问题、Spark/Hive参数调优。关注云原生趋势了解在K8s上部署大数据服务如Spark on K8s。通过本文你不仅成功搭建了一个可用于学习和开发的大数据迷你集群更关键的是你体验了从原始数据上传HDFS到Hive建表映射再到用Spark SQL进行高性能数据分析最后将结果持久化的完整流程。这个流程是绝大多数大数据离线处理任务的缩影。遇到问题多查日志善用Web UI和社区大数据的技术栈虽庞杂但核心思想是相通的。