大数据学习（53）-Hive与Impala

&&大数据学习&& 🔥系列专栏： 👑哲学语录: 承认自己的无知，乃是开启智慧的大门 💖如果觉得博主的文章还不错的话，请点赞👍+收藏⭐️+留言📝支持一下博主哦🤞

---

1. 执行引擎 Hive

基于 MapReduce 或 Tez：

Hive 最初是基于 MapReduce 的，MapReduce 是一种批处理框架，适合处理大规模数据，但延迟较高。

即使后来引入了 Tez 作为执行引擎，Hive 仍然是以批处理为核心，不适合低延迟查询。

中间结果写磁盘：

MapReduce 和 Tez 在执行过程中会将中间结果写入磁盘，导致额外的 I/O 开销。

Impala

基于 MPP（大规模并行处理）架构：

Impala 采用 MPP 架构，类似于传统的关系型数据库（如 Greenplum、Vertica），能够在内存中并行处理查询。

全内存计算：

Impala 的查询执行过程主要在内存中进行，避免了频繁的磁盘 I/O，显著提高了查询速度。

无 MapReduce 开销：

Impala 不依赖 MapReduce，直接读取 HDFS 数据并进行计算，减少了额外的调度和任务管理开销。

---

2. 查询优化 Hive

优化器较弱：

Hive 的查询优化器相对简单，生成的执行计划可能不够高效。

动态代码生成：

Hive 在运行时需要将 HiveQL 转换为 MapReduce 或 Tez 任务，增加了额外的开销。

Impala

强大的查询优化器：

Impala 的查询优化器更先进，能够生成更高效的执行计划。

LLVM 编译：

Impala 使用 LLVM（低级虚拟机）将查询编译为本地机器代码，进一步提高了执行效率。

谓词下推：

Impala 支持谓词下推（Predicate Pushdown），在数据扫描阶段就过滤掉不必要的数据，减少了数据传输和处理的开销。

---

3. 数据访问 Hive

依赖 HDFS：

Hive 的数据存储在 HDFS 上，每次查询都需要从 HDFS 读取数据，延迟较高。

数据格式支持：

虽然 Hive 支持多种数据格式（如 ORC、Parquet），但某些格式的读取效率不如 Impala。

Impala

直接访问 HDFS：

Impala 直接读取 HDFS 数据，避免了 MapReduce 的额外开销。

优化数据格式：

Impala 对 Parquet 和 ORC 等列式存储格式进行了深度优化，能够快速读取和处理数据。

数据本地性：

Impala 充分利用数据本地性（Data Locality），在数据所在的节点上执行计算，减少了数据传输的开销。

---

4. 资源管理 Hive

依赖 YARN：

Hive 的资源管理依赖于 YARN，YARN 的调度和资源分配可能引入额外的延迟。

任务启动开销：

每次查询都需要启动 MapReduce 或 Tez 任务，增加了任务启动和调度的开销。

Impala

独立资源管理：

Impala 不依赖 YARN，直接管理资源，减少了调度和资源分配的开销。

长服务进程：

Impala 的守护进程（Impala Daemon）是长期运行的，查询可以直接在这些进程上执行，避免了任务启动的开销。

---

5. 并发处理 Hive

并发能力有限：

Hive 的并发能力受限于 MapReduce 或 Tez 的调度机制，高并发场景下性能下降明显。

Impala

高并发支持：

Impala 的 MPP 架构支持高并发查询，能够在多个节点上并行处理查询请求。

资源隔离：

Impala 支持资源池（Resource Pool），可以为不同的查询分配不同的资源，提高并发性能。

---

6. 功能差异 Hive

功能丰富：

Hive 支持复杂的数据类型、UDF 和事务处理，功能更加全面。

适合批处理：

Hive 的设计目标是批处理，适合大规模数据离线分析。

Impala

功能精简：

Impala 的功能相对精简，专注于 OLAP 场景，适合快速查询。

实时查询：

Impala 的设计目标是低延迟查询，适合实时分析和交互式查询。

---

总结 特性HiveImpala执行引擎基于 MapReduce 或 Tez，批处理基于 MPP 架构，全内存计算查询优化优化器较弱，动态代码生成强大的查询优化器，LLVM 编译数据访问依赖 HDFS，中间结果写磁盘直接访问 HDFS，优化数据格式资源管理依赖 YARN，任务启动开销大独立资源管理，长服务进程并发能力并发能力有限支持高并发，资源隔离功能功能丰富，适合批处理功能精简，适合实时查询

Impala 比 Hive 快的原因：

全内存计算：避免了磁盘 I/O 开销。

MPP 架构：并行处理能力强。

LLVM 编译：生成高效的本地机器代码。

直接访问 HDFS：减少了额外的调度和任务管理开销。

强大的查询优化器：生成更高效的执行计划。

Impala 更适合需要低延迟和高并发的实时查询场景，而 Hive 更适合大规模数据批处理任务。