设为首页收藏本站

小牛社区-大数据学习交流社区|大数据免费学习资源

 找回密码
 立即注册!

QQ登录

只需一步,快速开始

扫一扫,访问微社区

查看: 115|回复: 0

使用 Hue 与 Apache Kylin 交互

[复制链接]

122

主题

0

帖子

10

积分

吃土小白

Rank: 1

积分
10
发表于 2018-1-4 16:13:50 | 显示全部楼层 |阅读模式
作者:何京珂
编辑:Sammi
Apache Kylin 简介
Apache Kylin 是一个领先的开源分布式分析引擎,提供 Hadoop 之上超大规模的 SQL 查询接口及多维分析能力。在超大规模数据集上建立数据模型,构建支持多维分析的预计算 Cube,并开放通用的 ODBC、JDBC 或 Restful API 接口。这种独特的预计算 Cube 使 Apache Kylin 可以轻松应对超大数据集上的查询,并实现亚秒级响应。
Hue 简介
Hue 是一个简单易用的 SQL 编辑器,提供基于 Web 的开源图形用户界面,方便用户查询基于 Hadoop 的相关服务。SQL 是分析师最熟悉的查询语言,因此 Hue 可帮助他们轻松访问 Hadoop 上的大数据。
在本文中,我们将介绍如何连接 Hue 与 Apache Kylin,快速实现分析海量数据。

准备包含 Apache Kylin 配置信息的 Hue的Docker 镜像
准备 Hue 镜像
使用 Docker 拉取最新 Hue。
docker pull gethue/hue:latest准备 Kylin JDBC 驱动程序
下载 Apache Kylin 安装包
wget -c http://mirror.bit.edu.cn/apache/kylin/apache-kylin-2.2.0/apache-kylin-2.2.0-bin-hbase1x.tar.gz解压安装包
tar -zxvf apache-kylin-2.2.0-bin-hbase1x.tar.gz使用 cp 命令复制 Kylin JDBC 驱动程序
cp apache-kylin-2.2.0-bin/lib/kylin-jdbc-2.2.0.jar .hue$ lsapache-kylin-2.2.0-bin apache-kylin-2.2.0-bin-hbase1x.tar.gz kylin-jdbc-2.2.0.jar将 Hub 配置文件复制到主机
从 Docker 复制配置文件
docker run -it -d --name hue_tmp gethue/hue /bin/bashcp hue_tmp:/hue/desktop/conf/pseudo-distributed.ini .docker stop hue_tmp; docker rm hue_tmp现在,在当前目录中可以看到 pseudo-distributed.ini文件。
在 pseudo-distributed.ini文件中配置Apache Kylin的连接。
vim pseudo-distributed.ini将以下 Kylin 配置复制到该文件中,并根据你的Kylin集群信息修改具体的配置信息。
dbproxy_extra_classpath=/hue/kylin-jdbc-2.2.0.jar[[[kylin]]] name=kylin JDBC interface=jdbc options='{"url": "jdbc:kylin://:/","driver": "org.apache.kylin.jdbc.Driver", "user": "", "password": ""}'例如,将以下配置添加到该文件中。
dbproxy_extra_classpath=/hue/kylin-jdbc-2.2.0.jar # One entry for each type of snippet. [[interpreters]] # Define the name and how to connect and execute the language. [[[kylin]]] name=kylin JDBC interface=jdbc options='{"url": "jdbc:kylin://localhost:7070/learn_kylin","driver": "org.apache.kylin.jdbc.Driver", "user": "ADMIN", "password": "KYLIN"}' [[[hive]]] # The name of the snippet. name=Hive # The backend connection to use to communicate with the server. interface=hiveserver2编辑 Dockerfile。
touch Dockerfilevim Dockerfile将以下脚本粘贴到 Dockerfile 中
FROM gethue/hue:latestCOPY ./kylin-jdbc-2.2.0.jar /hue/kylin-jdbc-2.2.0.jarCOPY ./pseudo-distributed.ini /hue/desktop/conf/pseudo-distributed.iniEXPOSE 8888此配置会将 Kylin JDBC Jar 和 pseudo-distributed.ini 复制到 Docker 的 Hue 中。并在 Docker中暴露端口 8888。
构建并启动 Docker 容器
docker build -t hue-demo -f Dockerfile .docker run -itd -p 8888:8888 --name hue hue-demoHue 已准备就绪,并在 localhost:8888 上运行。

现在可以从 Hue 中查询 Apache Kylin 的数据了。


在 AWS 上部署 Apache Kylin 和 Hue
下面我们将引导您在 AWS EMR 上部署 Apache Kylin 和 Hue。
在 AWS EMR 上安装 Apache Kylin
有关如何在 AWS EMR 上安装 Apache Kylin 的信息,可参考此文 。
在已配置 Apache Kylin 的 AWS EMR 上安装 Hue
在 AWS EMR 上安装 Apache Kylin 后,可使用 bootstrap 文件在已配置Apache Kylin 的 AWS EMR 上轻松部署 Hue。

  • 从这个 Github 上下载sh 文件并上传到 一个S3 存储桶中;

  • 在json 中,将 Apache Kylin 主机、端口号、项目 和 账号密码替换成您自己的信息,然后在 AWS Command-line 中运行以下脚本来创建 EMR 集群。
请确保转义符与以下 json 中保持一致。
[ { "Classification": "hue-ini", "Properties": {}, "Configurations": [ { "Classification": "notebook", "Properties": { "dbproxy_extra_classpath": "/opt/kylin_jdbc/kylin-jdbc-2.2.0.jar" }, "Configurations": [ { "Classification": "interpreters", "Properties": {}, "Configurations": [ { "Classification": "kylin", "Properties": { "name": "kylin JDBC", "interface": "jdbc", "options": "{\"url\": \"jdbc:kylin://:/\", \"driver\": \"org.apache.kylin.jdbc.Driver\", \"user\": \"\", \"password\": \"\"}" }, "Configurations": [] } ] } ] } ] }]aws emr create-cluster --name "HUE Cluster" --release-label emr-5.10.0 \--ec2-attributes KeyName=,InstanceProfile=EMR_EC2_DefaultRole,SubnetId= \--service-role EMR_DefaultRole \--applications Name=Hive Name=Hue Name=Pig \--emrfs Consistent=true,RetryCount=5,RetryPeriod=30 \--instance-count 1 --instance-type m3.xlarge \--configurations file://configurations.json \--bootstrap-action Path="s3:///download.sh"

  • 集群状态变为 “Waiting” 后,在 Web 浏览器中输入 http://:8888,可以看到含 Hue 的集群已准备就绪。
结论
在本文中,我们演示了如何轻松配置 Hue 来查询 Apache Kylin 中的数据。Hue 是一款便捷易用的开源 SQL 编辑器,可帮助您分析Apache Kylin 等基于Hadoop的服务的数据。Hue 和 Apache Kylin 均可在本地或云端部署,便于在任何地方组合使用。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册!

x
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册!

本版积分规则

快速回复 返回顶部 返回列表