1.apache atlas独立部署（hadoop、hive、kafka、hbase、solr、zookeeper）
2.Atlas系列-编译部署-Atlas2.1.0独立部署
apache atlas独立部署（hadoop、acm oj源码hive、kafka、hbase、solr、zookeeper）
在CentOS 7虚拟机（IP: ...）上部署Apache Atlas，独立运行时需要以下步骤：Apache Atlas 独立部署（集成Hadoop、Hive、Kafka、HBase、Solr、Zookeeper）
**前提环境**：Java 1.8、Hadoop-2.7.4、JDBC驱动、源码时代1995Zookeeper（用于Atlas的HBase和Solr）一、Hadoop 安装
设置主机名为 master
关闭防火墙
设置免密码登录
解压Hadoop-2.7.4
安装JDK
查看Hadoop版本
配置Hadoop环境
格式化HDFS（确保路径存在）
设置环境变量
生成SSH密钥并配置免密码登录
启动Hadoop服务
访问Hadoop集群
二、Hive 安装
解压Hive
配置环境变量
验证Hive版本
复制MySQL驱动至hive/lib
创建MySQL数据库并执行命令
执行Hive命令
检查已创建的数据库
三、Kafka 伪分布式安装
安装并启动Kafka
测试Kafka（使用kafka-console-producer.sh与kafka-console-consumer.sh）
配置多个Kafka server属性文件
四、HBase 安装与配置
解压HBase
配置环境变量
修改配置文件
启动HBase
访问HBase界面
解决配置问题（如JDK版本兼容、ZooKeeper集成）
五、Solr 集群安装
解压Solr
启动并测试Solr
配置ZooKeeper与SOLR_PORT
创建Solr collection
六、Apache Atlas 独立部署
编译Apache Atlas源码，选择独立部署版本
不使用内置的随机网站源码HBase和Solr
编译完成后，使用集成的Solr到Apache Atlas
修改配置文件以指向正确的存储位置
七、Apache Atlas 独立部署问题解决
确保HBase配置文件位置正确
解决启动时的JanusGraph和HBase异常
确保Solr集群配置正确
部署完成后，Apache Atlas将独立运行，与Hadoop、Hive、Kafka、HBase、Solr和Zookeeper集成，提供数据湖和元数据管理功能。量化捕鱼源码Atlas系列-编译部署-Atlas2.1.0独立部署
本文将为您详细介绍如何独立部署 Atlas 2.1.0 版本，依赖组件包括 solr、hbase、zookeeper、hive、hadoop、kafka。我们将采用 Docker 容器与 Linux 环境进行部署。如果您在 Atlas 的京东货源码编译部署过程中遇到问题，本指南将提供解决方案。
部署流程如下：
部署环境
1. Linux 环境：若无 Linux 环境，可通过 Docker 构建。如已安装 Linux，推荐使用 CentOS 镜像，本文作者最初在 Windows 环境下进行部署，并制作了一个 CentOS 镜像。构建步骤如下：
1. 拉取镜像
2. 运行容器
2. Zookeeper 环境搭建：使用 Docker 方式搭建 Zookeeper，配置步骤包括：
1. 拉取 Docker 镜像
2. 运行容器
3. Hadoop 环境搭建：同样采用 Docker 方式搭建 Hadoop，步骤如下：
1. 拉取镜像
2. 建立 Hadoop 用的内部网络
3. 创建并启动 Master 容器，映射端口，如 端口用于 Hiveserver2，以便后续客户端通过 beeline 连接 Hive
4. 创建 Slave 容器
5. 修改 hosts 文件，将 Master 和 Slave 的 IP 地址映射到容器内部
6. 启动 Hadoop，格式化 HDFS，并启动全部服务
7. 访问 Web 查看服务状态，如 hdfs: localhost: 和 yarn: localhost:
4. 部署 Hive：由于 Hive 镜像与 Hadoop 镜像整合，使用已启动的 Hadoop 镜像进行部署：
1. 进入 Master 容器
2. 修改配置文件，添加相关环境变量
3. 执行源命令生效
4. 完成数据库配置，确保与 Hive 配置文件中的分隔符一致，并关闭 SSL 验证
5. 上传 MySQL 驱动到 Hive 的 lib 目录，调整 jar 包配置，确保 slf4j 和 guava 包版本一致
6. 初始化元数据库，完成 Hive 的安装与启动
7. 修改 Hadoop 权限配置
8. 启动 Hiveserver2
9. Hbase 搭建：由于使用 Docker 遇到问题，改为在容器外搭建 Hbase 环境。步骤包括：
1. 拉取容器
2. 创建并运行容器
3. 进入容器
4. 修改 Hbase 配置
5. 启动 Hbase
6. 访问 Web 界面地址 localhost:
. Solr 搭建：使用 Docker 方式搭建 Solr，步骤如下：
1. 拉取镜像
2. 运行容器
3. 创建 collection
4. 访问 Web 界面地址 localhost:
. Atlas 独立部署：Atlas 2.1.0 版本独立部署依赖外部组件，不同于集成部署。步骤包括：
1. 从 Apache Atlas 下载源码，如 apache-atlas-2.1.0-server.tar.gz
2. 使用 Docker 镜像环境进行编译，选择之前构建的基础环境
3. 将源码复制到容器内
4. 修改 pom.xml 文件以适应环境依赖
5. 执行编译命令
6. 解压 /distro/target/apache-atlas-2.1.0-bin.tar.gz 文件
7. 进入 bin 目录，启动应用
至此，Atlas 2.1.0 版本独立部署完成，可访问 localhost: 查看部署结果。
