1.Hive-SQL快速实现特征属性数据的分箱分层
2.HiveSQL分位数函数percentile()使用详解+实例代码
3.在shell中使用hiveSQL的注意事项
4.分享一个 HIVE SQL 性能优化点-使用公共表表达式 CTE 替换临时表
5.spark sql源码系列 | with as 语句真的会把查询的数据存内存嘛？
6.详解HiveSQL执行计划

Hive-SQL快速实现特征属性数据的分箱分层

       等距分箱/等宽分箱数学运算主要运用了向上取整ceil() 和 向下取整floor() 的方法。

       等频分箱则采用了Ntile(n) over(order by col)分块函数进行实现。

       对于NULL值的处理，需要考虑是否需要单独为1组。

       percent_rank() over(order by col)函数用于先得出每个值对应的百分位数，然后根据实际需求进行分箱，返佣商城源码该函数属于PERCENT_RANK开窗函数。

       计算百分比排名的公式为：(x - 1) / (the number of rows in the window or partition - 1)，其中，x为当前行的排名。

       以下数据集说明了此公式的使用，返回值范围介于0和1（含1）之间。任何集合中的第一行的PERCENT_RANK均为0。

       手工分箱通过percentile函数实现，格式为percentile(col, p)，其中p的取值范围是(0,1)。需要注意的是，percentile要求输入的字段必须是int类型的。

       percentile_approx函数与percentile函数类似，格式为percentile_approx(col, p)，其中p的远控源码取值范围也是(0,1)。percentile_approx函数的另一个参数B可以控制内存消耗的近似精度，B值越大，结果的准确度越高。默认为,。当col字段中的distinct值的个数小于B时，结果为准确的百分位数。

       例如，percentile_approx(col, array(0.,0.5,0.), )。

       参考链接：

HiveSQL分位数函数percentile()使用详解+实例代码

       HiveSQL分位数函数percentile()详解及实例代码

       在数据分析师的工具箱中，掌握各种SQL函数尤为重要，尤其是统计函数。直接在SQL中处理统计问题，如计算分位数，既高效又直观。本文主要聚焦于HiveSQL的percentile()和percentile_approx()函数，后续还将陆续介绍其他统计函数。如果你对这类内容感兴趣，别忘了持续关注。

       在HiveSQL中，分位数的论坛源码下载计算主要依赖于percentile()和percentile_approx()这两个工具。percentile()函数如下：

       语法：percentile(col, p)，其中col为需要计算的int类型列，p为分位数，范围从0到1，如0.5表示中位数，0.为三分之二分位数。

       示例：通过列的方式输入p，会返回对应百分位数的列值。

       而percentile_approx()函数提供近似计算，语法如下：

       计算第p的近似百分位数，p范围为0到1，返回double类型。col字段支持浮点类型。参数B调整内存消耗和精度，默认值为。当col字段的唯一值少于B时，结果会精确。

       同样支持返回列值的百分位数。

       通过这些函数，无需将数据导出至Python的小程序开发源码Pandas进行处理，大大提升数据处理效率。如果你在使用中遇到任何问题，欢迎在下方评论区指正。

在shell中使用hiveSQL的注意事项

       hive是数据分析领域常用的工具之一，常在Linux shell环境中使用。运行hiveSQL的方式主要有三种：交互式命令行、使用-hive-e方式和使用-hive-f方式。在交互式命令行下，直接在shell中使用hive命令，输入"hive>"进入hive环境，输入hiveSQL进行查询，语句间用英文分号隔开，适合于快速查询或调试较短的SQL语句。使用-hive-e方式时，将SQL语句放入引号内执行，适用于较长的SQL语句，常用于任务调度。使用-hive-f方式时，将SQL语句写入文件，通过-hive-f执行文件，短源码与调度系统结合实现自动化脚本。在使用时，需要注意转义符的使用，以正确处理特殊字符如竖线和双竖线。在生成结果文件时，确保文件名与重定向符在同一行。执行时，注意星号在echo打印中的特殊处理。对于执行过程中的其他选项，如Silent模式运行hive以屏蔽mapreduce过程的日志，以及列名显示选项，能够帮助提高查询效率。此外，了解hive的其他选项能够避免许多常见问题，对提高工作效率大有裨益。

分享一个 HIVE SQL 性能优化点-使用公共表表达式 CTE 替换临时表

       在Hive SQL的性能优化策略中，一个值得探讨的点是运用公共表表达式CTE（Common Table Expression）来替代临时表。这种优化方法在提升作业效率和代码可读性上表现出色，特别是在处理大量I/O密集型任务时效果显著。

       CTE的优势在于它作为一个临时的计算单元，不将元数据持久化到HMS或HDFS，而是将查询结果暂存于内存或本地磁盘，避免了临时表产生的额外开销，从而实现了性能的提升。其基本语法为：

       WITH cte_name1 AS (select_statement1), cte_name2 AS (select_statement2)

       sql_containing_cte_name:

       在实践中，将CTE用于优化SQL语句的例子如下：

       原本可能的临时表创建与替换：create temporary table temp1 as select_statement; 可以替换为使用CTE：WITH temp1 AS (select_statement) select * from temp1;

       值得注意的是，CTE的优化特性在CDH和TDH版本的Hive，以及Spark SQL等环境中都得到了广泛支持，具有良好的跨平台和跨引擎适用性。

       然而，尽管CTE带来显著性能提升，但它并非在所有场景下都能完全取代临时表，具体情况需根据数据量、查询复杂度和系统资源等因素综合考虑。在实际操作中，应根据具体需求灵活运用。

spark sql源码系列 | with as 语句真的会把查询的数据存内存嘛？

       在探讨 Spark SQL 中 with...as 语句是否真的会把查询的数据存入内存之前，我们需要理清几个关键点。首先，网上诸多博客常常提及 with...as 语句会将数据存放于内存中，来提升性能。那么，实际情况究竟如何呢？

       让我们以 hive-sql 的视角来解答这一问题。在 hive 中，有一个名为 `hive.optimize.cte.materialize.threshold` 的参数。默认情况下，其值为 -1，代表关闭。当值大于 0 时（如设置为 2），with...as 语句生成的表将在被引用次数达到设定值后物化，从而确保 with...as 语句仅执行一次，进而提高效率。

       接下来，我们通过具体测试来验证上述结论。在不调整该参数的情况下，执行计划显示 test 表被读取了两次。此时，我们将参数调整为 `set hive.optimize.cte.materialize.threshold=1`，执行计划显示了 test 表被物化的情况，表明查询结果已被缓存。

       转而观察 Spark SQL 端，我们并未发现相关优化参数。Spark 对 with...as 的操作相对较少，在源码层面，通过获取元数据时所做的参数判断（如阈值与 cte 引用次数），我们可以发现 Spark 在这个逻辑上并未提供明确的优化机制，来专门针对 with...as 语句进行高效管理。

       综上所述，通过与 hive-sql 的对比以及深入源码分析，我们得出了 with...as 语句在 Spark SQL 中是否把数据存入内存的结论，答案并不是绝对的。关键在于是否通过参数调整来物化结果，以及 Spark 在自身框架层面并未提供特定优化策略来针对 with...as 语句进行内存管理。因此，正确使用 with...as 语句并结合具体业务场景，灵活调整优化参数策略，是实现性能提升的关键。

详解HiveSQL执行计划

       Hive SQL执行计划详解

       Hive SQL执行计划揭示了SQL语句转换成具体执行逻辑的整体框架，帮助开发者理解SQL在引擎层面上的执行路径，从而识别瓶颈点，实现优化。执行计划是SQL优化的关键，能够区分看似等价但实际不等价的SQL语句。

       查看执行计划的基本方法是在SQL语句前加入关键字`explain`。Hive提供的执行计划信息主要包括以下几点：

查看执行计划的命令使用

       使用语法：在Hive CLI中输入`explain`命令，例如在Hive 2.3.7版本中输入`explain`命令，可获取查询的执行计划。

Hive查询的执行流程

       一个Hive查询会被转换为一个包含多个stage的序列（有向无环图DAG）。每个stage可能涉及MapReduce、元数据存储或文件系统操作。

具体执行计划分析

       执行计划包含stage dependencies和stage plan两大部分。stage dependencies表示各个stage之间的依赖关系，stage plan则展示具体的执行计划，如Map Reduce操作，包含操作符。

执行计划的应用场景

       通过查看执行计划，可以解决以下问题：

       - 确定JOIN语句是否过滤null值

       - 确认GROUP BY语句是否进行排序

       - 比较不同SQL语句的执行效率

       - 定位数据倾斜的代码段

explain dependency用法

       `explain dependency`用于展示SQL查询所需的数据来源，输出为JSON格式，包含数据输入和输出信息。通过查看不同场景下的执行计划，可以了解数据读取范围、数据过滤效果等。

explain authorization用法

       `explain authorization`提供当前SQL查询的数据来源、输出路径、执行用户和操作类型。此外，该命令还能揭示权限问题，即查询时的授权失败信息。

       总之，通过理解和分析Hive SQL执行计划，开发者可以优化查询性能，解决查询效率问题，以及定位和解决数据倾斜等问题。