皮皮网

1.Hive: 内置函数汇总
2.Hive学习笔记八：Hive函数入门
3.Hive函数—from_json、内置内置explode、函数函数LATERAL VIEW 子句
4.2021年大数据Hive（五）：Hive的源码内置函数（数学、字符串、内置内置日期、函数函数条件、源码捉妖塔源码转换、内置内置行转列）
5.hive常用日期处理函数（二）
6.Hive 编程专题之 - 自定义函数 Java 篇

Hive: 内置函数汇总

       Hive内置函数概览

       Hive提供了丰富多样的函数函数内置函数，以满足各种数据处理需求。源码这些函数包括：

日期函数：处理日期和时间相关的内置内置操作，如日期计算、函数函数格式转换等。源码

字符串函数：如求子串，内置内置通过split函数对字符串进行分割，函数函数注意使用反斜杠转义特殊字符，源码如'split(string, '\\.')'。

数学函数：执行基本的算术运算，如加、减、乘、除等。

条件函数：用于根据特定条件执行不同的操作，如if-then-else结构。

UDTF (用户定义表生成函数)：

explode：用于将数组或集合元素展开为行，常与lateral view配合使用，扩展数据的维度。

lateral view：提供了一种测试图的方式，允许在查询时对表进行扩展。

UDTF案例：如找出每个学员的好成绩，展示了如何利用这些函数进行复杂的数据分析。

       总结来说，Hive的内置函数集为数据分析和转换提供了强大的工具，使得数据处理更加灵活和高效。

Hive学习笔记八：Hive函数入门

       Hive学习笔记八：函数入门概览

       在Hive中，函数是数据处理和分析的重要工具。函数可分为内置函数和用户自定义函数（UDF），它们各自扮演着不同角色。

       1. 内置函数

       内置函数涵盖了字符串操作（如map_keys, array_contains, sort_array等）、日期处理、数学计算、温泉系统源码集合操作，以及条件判断（case when）、类型转换、数据脱敏和杂项功能（如java_method, select version）。

       2. 用户自定义函数

       UDF、UDAF和UDTF是用户自定义函数的三大类别。UDF如round函数，用于简单计算；UDAF如count, sum等，执行聚合操作，如数据去重（collect_set(), collect_list()）；UDTF则产生类似表的结果，如explode函数实现一行转多行。

       案例：手机号加密UDF

       实际应用中，如需实现手机号的加密，首先明确需求，然后编写和测试UDF。具体步骤包括配置Maven、编写逻辑、打包上传至服务器，通过beeline连接数据库，添加jar包，创建临时函数并测试，最后断开连接后，jar包和临时函数会消失。

Hive函数—from_json、explode、LATERAL VIEW 子句

       在Hive中，有三个关键函数：from_json、explode、LATERAL VIEW，它们在处理JSON数据时尤为有用。

       from_json函数用于解析JSON字符串并构建一个结构化对象，返回一个包含JSON字符串和预定义模式的结构值。这对于从JSON格式中提取特定信息非常方便。

       explode函数作为表值生成器，它通过处理输入表达式并取消嵌套，产生一系列行。这使得从包含多值字段的行中提取每个值成为可能。

       LATERAL VIEW子句则与生成器函数，如explode相结合，传奇源码制作用于将一个生成的表与原始查询结果并行处理。它生成包含一个或多个行的虚拟表，使得每行数据可以独立进行复杂操作。

       对于更深入的了解和查询，可以访问在线资源，如Azure Databricks的Databricks SQL文档，这里提供了按字母顺序排列的内置函数列表，涵盖了从基础到高级的Hive函数。

年大数据Hive（五）：Hive的内置函数（数学、字符串、日期、条件、转换、行转列）

       Hive函数主要分为三类：聚合函数、内置函数与表生成函数。本文将聚焦于内置函数的探索，包括数学、字符串、日期操作、条件判断与数据转换等功能，以及行转列的实用技巧。

       ### 数学函数

       1. **取整函数**：round、floor与ceil。

round(double a): 返回double类型的整数值部分（遵循四舍五入）。

floor(double a): 返回等于或小于该double变量的最大的整数。

ceil(double a): 返回等于或大于该double变量的最小的整数。

       举例：执行round(3.)后结果为3。

       2. **随机数函数**：rand。

       返回一个0到1范围内的随机数，可选带种子参数以确保可复现性。

       举例：执行rand()两次可能得到不同的结果。

       3. **幂运算函数**：pow。

       返回a的p次幂。

       举例：执行pow(2,4)后结果为.0。

       4. **绝对值函数**：abs。

       返回数值a的绝对值。

       举例：执行abs(-3.9)后结果为3.9。

       ### 字符串函数

       1. **长度函数**：length。

       返回字符串的4399 网页源码长度。

       举例：执行length('abcedfg')后结果为7。

       2. **反转函数**：reverse。

       返回字符串的反转结果。

       举例：执行reverse("abcedfg")后结果为gfdecba。

       3. **连接函数**：concat。

       返回输入字符串连接后的结果。

       举例：执行concat('hello','world')后结果为helloworld。

       4. **带分隔符连接函数**：concat_ws。

       返回输入字符串连接后的结果，SEP表示各个字符串间的分隔符。

       举例：执行concat_ws(',','abc','def','gh')后结果为abc,def,gh。

       5. **截取函数**：substr,substring。

       返回字符串从start位置到结尾的字符串。

       返回字符串从start位置开始，长度为len的字符串。

       举例：执行substr('abcde',3)后结果为cde。

       ### 日期函数

       1. **获取当前UNIX时间戳**：unix_timestamp。

       获得当前时区的UNIX时间戳。

       举例：执行unix_timestamp()后结果为当前UNIX时间戳。

       2. **UNIX时间戳转日期**：from_unixtime。

       将UNIX时间戳（从-- :: UTC到指定时间的秒数）转为当前时区的时间格式。

       举例：执行from_unixtime(,'yyyy-MM-dd HH:mm:ss')后结果为-- ::。

       ### 条件函数

       1. **if函数**。

       当条件为TRUE时，返回valueTrue；否则返回valueFalseOrNull。

       举例：执行if(1=2,,)后结果为。

       2. **CASE函数**。

       如果a等于b，返回c；如果a等于d，返回e；否则返回f。

       举例：执行case when then 'tom' when then 'mary' else 'tim' end后结果为mary。

       ### 转换函数

       使用cast函数进行数据类型转换，例如将字符串类型数据转换为整型或日期型。

       ### 行转列

       通过concat_ws、collect_set等函数将多行数据转换为一个列的字段。

       通过以上函数，可以实现复杂的数据处理与转换，提升数据分析的效率与准确性。

hive常用日期处理函数（二）

       在Hive中处理日期函数时，DETR源码详解我们可以灵活运用多种内置函数，实现对日期的增减、提取特定信息等操作，这将极大提升数据分析效率。

       首先，我们通过`date_sub`函数对日期进行减法运算。例如，`select date_sub('--',1)`，这将返回`--`，即年2月日往前推一天的结果。

       `date_add`函数则实现相反操作，`select date_add('--',1)`返回`--`，表示年2月日往后推一天的日期。

       接下来，`to_date`函数用于提取字符串中的日期部分。使用`select to_date('-- :: ')`，结果为`--`，将包含时间戳和额外信息的字符串转换为日期格式。

       `day`和`dayofmonth`函数分别返回字符串中的天数和月份中的天数，`select day('--')`和`select dayofmonth('--')`皆返回``。

       `hour`、`minute`、`second`函数则用于提取时间信息，`select hour('-- ::')`返回``，表示小时数；`select minute('-- ::')`返回``，表示分钟数；`select second('-- ::')`返回``，表示秒数。

       对于季度信息，`quarter`函数提供了便利的提取方式，例如`select quarter('--')`和`select quarter('-- ::')`的输出结果皆为`1`，表示第一季度。

       最后，`weekofyear`函数用于获取一年中的周数。使用`select weekofyear('--')`得到``，注意这里的计算取自然周，因此年的第一周为第周。而`select weekofyear('--')`则返回`1`，表示年的第一周。

       这些函数在数据分析时提供了强大的支持，使得我们能够精准地处理和分析日期相关的数据，从而得出更准确的结论。

Hive 编程专题之 - 自定义函数 Java 篇

       Hive函数分为内置函数与自定义函数，内建函数包括字符、数值、日期与转换等类型。

       自定义函数类似于传统商业数据库中的编译函数，如SQL Server中使用C#解决内建函数无法解决的问题，Oracle中则使用Java编写的Jar扩展功能，Hive中的自定义函数同样依赖Jar，提供Java编写程序以处理内置函数无法达到的功能。

       使用Java编写Hive自定义函数步骤包括：

       1. 常看所有内置与自定义函数。

       2. Java或Scala编写自定义函数。

       3. 使用Eclipse或其他Java编辑工具生成JAR文件。

       4. 将生成的JAR文件放置于HDFS中，Hive即可应用。

       5. 使用Java编写简单的Hive自定义函数，步骤如下：

       5.1 使用Eclipse建立Maven项目。

       5.2 引入特定的Hive/Hadoop JAR。

       5.3 从Hive源代码或Hadoop基类库中寻找所需库。

       5.4 编写简单的大写转换函数。

       5.5 导出Eclipse，导入Hive类路径。

       5.6 定义Hive函数，需带上全路径，即类的包路径。

       5.7 修改Java代码，再执行相关步骤。

       通过以上步骤，成功使用Java编写一个供Hive调用的函数。

全网最全Hive近百个函数详解

       Apache Hive，基于Apache Hadoop的数据仓库工具，支持多种引擎如MapReduce、Tez、Spark等，为数据查询和分析提供便利。它不仅内置大量函数，还允许用户自定义UDF和UDAF。Hive的隐式函数转换虽然方便，但可能引发未预期结果，因此建议用户遵循规范使用。

       以下是Hive内置函数的分类概述，包括日期处理、数值计算、集合操作、条件判断、字符串操作和聚合功能的详细解析和示例讲解：

日期函数：主要用于日期和时间的操作，例如日期格式化和日期算术。

集合函数：如并集、交集、差集等，处理集合数据的逻辑操作。

条件函数：实现基于条件的逻辑判断，如IF-THEN-ELSE语句。

字符串函数：包括字符串截取、替换、搜索等，对文本数据进行处理。

数值函数：涉及数值计算、数学运算等，如加减乘除、四则运算等。

聚合函数：如SUM、COUNT、AVG等，对数据进行汇总和统计。

       在实际应用中，例如在t表中，数据如下：

       尽管Hive的这些函数在Presto中也有相似功能，但名称、参数顺序和字段类型可能有所不同，Presto更强调数据类型的规范性，对不规范的数据类型会报错。

hive内置函数(三)：时间函数和条件函数

       Hive内置函数详解：时间函数与条件函数

       Hive内置函数主要包括时间函数和条件函数，本文将对此进行深入介绍。其他类型的函数请参考我的其他专栏。

       时间函数

       时间函数如date_add, date_sub等，用于日期操作。例如：

       date_add(start_date, num_days)：给定日期start_date和整数num_days，返回start_date后的num_days天。

       date_sub(start_date, num_days)：返回start_date减去num_days天的日期。

       datediff(date1, date2)：计算date1与date2之间的天数差。

       如：day, hour, minute, month, second, to_date, unix_timestamp, weekofyear和year等，用于提取和转换日期时间的各个部分。

       测试实例

       以年东京奥运会奖牌数据为例，使用Hive表t_xiao_xian，表结构包含国家奖牌数、洲区信息。表的部分数据如：

       条件函数

       条件函数如case, coalesce, if和nvl等，用于根据条件返回不同的值。

       case when exp1 then str1 [when exp2 then str2] else strN end：根据多个条件判断返回相应字符串。

       coalesce(a1, a2, ...)：返回第一个非空参数。

       if(exp, a1, a2)：如果表达式exp为真，返回a1，否则返回a2。

       nvl(value, default_value)：如果value为null，返回default_value，否则返回value。

       结束语

       本文详细介绍了Hive中的时间函数和条件函数，如有任何疑问或需要深入讨论，请在评论区留言。感谢您的阅读和支持，如有需要，请在使用时注明引用来源。

hive内置函数(二)：数值处理和字符串处理函数

       Hive内置函数概览：数值处理与字符串处理

       Hive内置函数分为数值处理和字符串处理两大类别。本文主要介绍这两个方面的函数，其他类别函数请参考我的数据分析和挖掘专栏。

       1. 数值处理函数

       余数运算：`X % Y`，返回X除以Y的余数，功能与`pmod`相同。

       绝对值：`abs(X)`，用于获取数值X的绝对值。

       反余弦：`acos(X)`，X在-1和1之间时，返回X的反余弦，否则返回NaN。

       反正弦：`asin(X)`，类似acos，但返回X的反正弦。

       反正切：`atan(X)`，计算X的反正切值。

       二进制转换：`bin(X)`，将整型X转换为二进制表示。

       向上取整：`ceil(X)` 和 `ceiling(X)`，返回大于或等于X的最小整数，功能相同。

       进制转换：`conv(X,from,to)`，将X从from进制转换成to进制。

       余弦：`cos(X)`，X为弧度值时返回其余弦值。

       指数运算：`exp(X)`，计算以e为底X的指数。

       向下取整：`floor(X)`，返回小于或等于X的最大整数。

       十六进制转换：`hex(X)`，返回X的十六进制表示，X可为整型或字符串。

       对数运算：`log(X,Y)`，计算以X为底Y的对数，还有`log`、`log2`等。

       取反数：`negative(X)`，返回X的相反数。

       幂运算：`pow(X,Y)` 和 `power(X,Y)`，计算以X为底Y的次幂，功能相同。

       随机数：`rand(X)`，生成0到1之间的随机数。

       四舍五入：`round(X,Y)`，保留Y小数位数的四舍五入，Y省略则取整。

       其他类似函数，如正弦、平方根、正切等。

       2. 字符串处理函数

       拼接：`concat(s1,s2,...)`，将多个字符串或数值合并为一个。

       分隔拼接：`concat_ws(sep,s1,s2,...)`，以sep分隔字符串。

       查找子串位置：`find_in_set(str,str_array)`，在逗号分隔的字符串中查找str的位置。

       JSON对象提取：`get_json_object(json_txt, path)`，从json字符串中提取指定路径的数据。

       大小写转换：`lcase` 和 `lower`，`ucase` 和 `upper`，分别转换字符串为小写和大写。

       字符串长度：`length(s)`，返回字符串s的长度。

       空格处理：`lpad`, `rpad` 和 `trim`，分别在字符串两侧填充、扩展和移除空格。

       URL解析：`parse_url(url, partToExtract)`，提取url的指定部分。

       正则表达式操作：`regexp_extract` 和 `regexp_replace`，用于字符串拆分和替换。

       重复字符串：`repeat(str, n)`，重复字符串n次。

       反转字符串：`reverse(str)`，返回字符串的逆序。

       字符串分割：`split(str, regex)`，将字符串按正则表达式分割成数组。

       子字符串提取：`substr` 和 `substring`，根据位置和长度提取字符串片段。

       这就是本文关于Hive内置函数的详细概述，如有疑问或需要深入讨论，请在评论区留言。