hive面试题

Hive基础概念 1.1 Hive是什么？

基于Hadoop的数据仓库工具，支持类SQL（HiveQL）查询，底层转换为MapReduce/Tez/Spark任务。

核心功能：数据ETL、查询、分析；定位：OLAP（分析型），非OLTP（事务型）。

1.2 Hive与传统数据库的区别

特性 Hive 传统数据库 (如MySQL) 数据规模 PB级 GB/TB级 延迟 高（分钟级） 低（毫秒级） 事务支持 有限（Hive 0.14+支持ACID） 完善 存储 HDFS 本地磁盘 2. Hive架构与核心组件 2.1 元数据存储（Metastore）

存储表结构、分区、数据位置等信息，生产环境常用MySQL。 模式：内嵌模式、本地模式、远程模式（推荐）。

2.2 HQL执行流程

HQL → 解析器 → 编译器 → 优化器 → 执行引擎 → 结果。 3. Hive数据模型 3.1 内部表 vs 外部表

内部表：数据由Hive管理，删除表时数据连带删除。

外部表：仅删除元数据，数据保留在HDFS。

3.2 分区与分桶

– 分区表示例 CREATE TABLE logs (msg STRING) PARTITIONED BY (dt STRING);

– 分桶表示例 CREATE TABLE user_bucketed (id INT) CLUSTERED BY (id) INTO 4 BUCKETS;

| 维度 | 分区 | 分桶

|适用场景|按日期/地区过滤|JOIN优化、数据倾斜处理

Hive优化技巧 4.1 存储优化

使用列式存储（ORC/Parquet）和压缩（Snappy）。

合并小文件： SET hive.merge.mapfiles=true; 4.2 数据倾斜处理

对倾斜Key添加随机前缀：

SELECT user_id, COUNT(*) FROM logs GROUP BY user_id + CAST(RAND() * 10 AS INT); 5. Hive高级特性 5.1 Hive事务 仅支持分桶表+ORC格式： CREATE TABLE txn_table (…) STORED AS ORC TBLPROPERTIES (‘transactional’=‘true’); 5.2 Hive on Spark

优势：内存计算、DAG优化，比MapReduce快10倍以上。 6. 常见面试问题 6.1 如何调优Hive查询？

分区/分桶、ORC格式、MapJoin、压缩数据。

6.2 Hive与HBase整合？

通过Hive-HBase Handler映射表，支持双向查询。

场景应用题 问题：如何设计每日用户日志分析？ 方案：

按日期分区：PARTITIONED BY (dt STRING)

使用ORC+Snappy压缩。

对高频用户分桶，处理数据倾斜。