1.Hadoop3.3.5集成Hive4+Tez-0.10.2+iceberg踩坑过程
2.apache atlas独立部署（hadoop、源码hive、编译kafka、源码hbase、编译solr、源码zookeeper）
3.开源数据质量解决方案 Apache Griffin - 安装篇
4.Apache Ranger整合Hadoop、编译docker node源码Hive、源码Spark实现权限管理
Hadoop3.3.5集成Hive4+Tez-0.10.2+iceberg踩坑过程
集成Hadoop 3.3.5与Hive 4.0.0-beta-1、编译Tez 0..2和Iceberg的源码过程中，尽管资料匮乏且充满挑战，编译但通过仔细研究和实践，源码最终成功实现了。编译以下是源码关键步骤的总结：前置准备
Hadoop 3.3.5：由于Hive依赖Hadoop，确保已安装并配置。编译
Tez 0..2：作为Hive的源码计算引擎，需要先下载（Apache TEZ Releases）并可能因版本差异手动编译以适应Hadoop 3.3.5。
源码编译与配置
从release-0..2下载Tez源码，注意其依赖的Protocol Buffers 2.5.0。
修改pom.xml，调整Hadoop版本和protobuf路径，同时配置Maven仓库。
编译时，可以跳过tez-ui和tez-ext-service-tests以节省时间。
安装与配置
将编译后的Tez包上传至HDFS，并在Hadoop和Hive客户端配置tez-site.xml和环境变量。
Hive集成
Hive 4.0.0-beta-1：提供SQL查询和数据分析，已集成Iceberg 1.3无需额外配置。
下载Hive 4.0.0的稳定版本，解压并配置环境变量。
配置Hive-site.xml，中天娱乐源码包括元数据存储选择和驱动文件放置。
初始化Hive元数据并管理Hive服务。
使用Hive创建数据库、表，以及支持Iceberg的分区表。
参考资源
详尽教程：hive4.0.0 + hadoop3.3.4 集群安装
Tez 安装和部署说明
Hive 官方文档
Hadoop 3.3.5 集群设置
apache atlas独立部署（hadoop、hive、kafka、hbase、solr、zookeeper）
在CentOS 7虚拟机（IP: ...）上部署Apache Atlas，独立运行时需要以下步骤：Apache Atlas 独立部署（集成Hadoop、Hive、Kafka、HBase、Solr、Zookeeper）
**前提环境**：Java 1.8、Hadoop-2.7.4、JDBC驱动、Zookeeper（用于Atlas的HBase和Solr）一、Hadoop 安装
设置主机名为 master
关闭防火墙
设置免密码登录
解压Hadoop-2.7.4
安装JDK
查看Hadoop版本
配置Hadoop环境
格式化HDFS（确保路径存在）
设置环境变量
生成SSH密钥并配置免密码登录
启动Hadoop服务
访问Hadoop集群
二、Hive 安装
解压Hive
配置环境变量
验证Hive版本
复制MySQL驱动至hive/lib
创建MySQL数据库并执行命令
执行Hive命令
检查已创建的数据库
三、Kafka 伪分布式安装
安装并启动Kafka
测试Kafka（使用kafka-console-producer.sh与kafka-console-consumer.sh）
配置多个Kafka server属性文件
四、HBase 安装与配置
解压HBase
配置环境变量
修改配置文件
启动HBase
访问HBase界面
解决配置问题（如JDK版本兼容、ZooKeeper集成）
五、Solr 集群安装
解压Solr
启动并测试Solr
配置ZooKeeper与SOLR_PORT
创建Solr collection
六、Apache Atlas 独立部署
编译Apache Atlas源码，选择独立部署版本
不使用内置的HBase和Solr
编译完成后，使用集成的lis源码下载Solr到Apache Atlas
修改配置文件以指向正确的存储位置
七、Apache Atlas 独立部署问题解决
确保HBase配置文件位置正确
解决启动时的JanusGraph和HBase异常
确保Solr集群配置正确
部署完成后，Apache Atlas将独立运行，与Hadoop、Hive、Kafka、HBase、Solr和Zookeeper集成，提供数据湖和元数据管理功能。开源数据质量解决方案 Apache Griffin - 安装篇
本文将详细介绍如何安装开源数据质量解决方案Apache Griffin。首先，我们需要从GitHub获取源码，推荐使用分支griffin-0.2.0-incubating-rc4或tag=griffin-0.2.0-incubating。 安装前，请访问官方文档进行参考。尽管官方文档不够详细，且部分内容可能与实际代码不一致，但在安装前阅读代码将有助于理解安装过程。 安装流程如下： 安装代码模块前，确保已按照代码提示修改`env.json`文件。特别注意，将`mail`和`sms`配置从数组改为单个对象，尽管这两个配置在当前版本中未使用，可能为未来添加报警功能预留。 打包并编译成jar文件，命令如下：`mvn clean package`。确保在项目根目录执行此命令。 上传编译后的jar文件到HDFS。服务端配置与启动
安装并配置数据库服务。对于PostgreSQL和MySQL，hhy源码公式分别执行`init_quartz.sql`文件以初始化quartz表。 调整配置文件，包括`sparkJob.properties`、`application.properties`等。具体配置如下： - `sparkJob.properties`中可能包括一些特定于Apache Griffin的配置项。 - `application.properties`中需要配置Hive元数据服务的地址，格式为`hive.metastore.uris = thrift://你的MetaStore地址:`。 启动服务，执行命令`java -jar service/target/service.jar`。前端UI配置与启动
运行`npm run start`以启动前端UI。 为了部署生产环境，运行`npm run build`以生成静态文件。将`dist`目录下的静态文件复制到Nginx或其他服务器上。部署测试
最后，访问部署的UI地址。页面成功打开后，配置测量和作业。如果系统运行正常，表示部署成功。 请确保在部署前阅读官方文档并参考代码以确保正确的安装和配置。安装过程可能需要根据实际环境进行调整。祝您安装成功！Apache Ranger整合Hadoop、Hive、Spark实现权限管理
在先前的文章《说说PB级生产上重要的Spark 3.x性能优化方向》中，提到了业务人员在处理数据时可能因误操作而造成数据损坏的问题。在许多场景中，数仓需要直接开放给业务分析人员使用，他们经常执行SQL进行场景分析和验证。nfc源码价格为此，可以提供一个WebUI供他们使用，如Hue。然而，由于数仓数据庞大，不可能全部开放给业务人员，因此对外供数时必须提供权限控制。
权限控制方面，CDH上提供的Sentry是一个不错的选择，它基于RBAC进行授权，可以针对库、表等设置不同用户权限。CM的加入使得Sentry的配置变得简单，但Sentry在用户管理方面较为繁琐，且项目已进入Apache Attic，因此选择Sentry并非明智之举。
实际上，许多公司的生产环境都是外网隔离的，特别是涉及敏感数据的小猴公司。开发、运维人员进入生产环境需要经过严格的校验，接入公司的生产专用网络，并通过堡垒机，任何人都无法导出数据，且每个操作都有审计跟踪。尽管如此，业务人员仍需开放访问，尽管他们通过专门的跳板机访问，但依然存在风险。
Apache Ranger只要有大数据集群的地方就都需要。本文解决了Ranger不支持Spark SQL的问题，实现了库、表、行、列级别的细粒度权限控制。由于官方文档和百度文档有限，本文将分享相关信息，希望能帮助到大家。
Apache Ranger是一个用于Hadoop平台上的权限框架，旨在服务于整个大数据生态圈。随着Hadoop在数据湖领域方案的成熟，对数据权限控制的要求也日益提高。Ranger现在提供了更多对大数据生态组件的支持。
Hadoop中的数据访问多样化，如存储在HDFS的数据可以被Hive、Spark或Presto访问。这么多组件访问数据，若不进行集中权限控制，数据安全性将面临严重问题。因此，大数据平台通常需要一个集中管理权限的组件或框架，Ranger正是这样的组件。
当前Ranger版本为2.1，官方提供的版本为2.1。编译测试基于Ranger 2.1版本。官方未提供安装包，需要手动下载Ranger源码包进行编译。编译环境要求提前安装，具体可参考官方网站。
编译成功后，将tar.gz包拷贝到本地。部署Ranger Admin的安装方式与Ranger类似：安装Ranger admin、创建ranger用户并设置密码、上传解压安装包、拷贝MySQL JDBC库、在MySQL中创建ranger库和用户、初始化配置、初始化Ranger admin。若显示成功，则表示初始化成功。在MySQL中可以看到ranger数据库中已创建大量表。
配置Ranger设置数据库密码、配置环境变量、启动Ranger admin访问web UI。登录后，主界面显示如下。点击右上角的“Swith to latest UI”可以切换到最新的UI展示。若安装过程中出现问题，请检查日志。
安装Ranger usersync配置admin认证模式。Ranger中admin的认证方式有三种：Unix、Active Directory、Kerberos。此处使用Unix方式进行认证，意味着后续Ranger admin登录会按照Linux中的认证同步。上传解压Ranger usersync组件、修改初始化配置、初始化配置、配置Linux系统用户组同步配置环境变量、启动usersync服务、修改Ranger admin的认证方式、重新启动Ranger admin。在ranger-admin中可以看到所有Linux中的所有用户。
安装Ranger HDFS插件。注意，HDFS插件需要安装在NameNode对应的节点中，YARN插件需要安装在ResourceManager对应的节点上。解压HDFS插件、初始化配置、启用hdfs插件。Ranger HDFS插件会将当前的配置文件保存备份。可以查看ranger对这些配置文件的更改。
在PM中添加HDFS服务、配置HDFS服务权限策略、默认策略、策略配置、测试用户访问权限、在ranger中添加组合用户、基于角色授权、测试。我们发现，只要Ranger中的权限已更新，hdfs客户端就可以实现更新。
按照之前的配置，审计日志信息保存在指定目录。找到一条审计日志，查看其中的内容。审计日志中包含操作时间、路径、资源类型、对应Ranger中的策略等信息。一旦出现安全类问题，通过审计日志可以检查到进行了哪些操作。
部署Ranger HDFS HA。在HDFS的HA集群上，NameNode可能会发生failover，因此非常有必要在每个HDFS的NameNode上部署一个HDFS插件，以确保在HA切换时能够正常控制权限。部署hdfs plugin到每个NameNode节点、初始化NameNode、测试NameNode节点权限。测试lisi用户在/tmp目录的写入权限，发现当前lisi没有写入权限。在Ranger中启用sales角色的用户具备/tmp目录可写权限。重新执行写入操作，NameNode接入Ranger权限控制成功。
部署Ranger框架整合Hive、上传解压Hive插件、初始化配置、启动Hive插件。Ranger会对Hive的配置文件进行处理，生成hiveserver2-site.xml、ranger-hive-audit.xml、ranger-hive-security.xml等文件。重新启动Hive、beeline登录到hive、在PM中添加Hive服务、添加Hive Service、查看权限策略、查看默认hive导入的权限、使用hive查看数据、给hadoop组用户授权、检查spark用户操作权限、授权hadoop组、对某个库、表、列设置细粒度权限、测试数据打码处理、测试Ranger Admin crash对Hive的影响、部署Ranger Spark SQL、编译Apache submarine spark-security模块、配置、配置Spark SQL、测试Thrift Server、测试Spark SQL SHELL、到此Ranger整合Spark SQL完成、查看spark sql审计日志、报错信息处理、找不到AllocationFileLoaderService$Listener、异常信息、解决办法、参考文献。
