hue

一、Hue 简介 Hue是一个开源的Apache Hadoop UI系统，最早是由Cloudera Desktop演化而来，由Cloudera贡献给开源社区，它是基于Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据，例如操作HDFS上的数据，运行MapReduce Job等等。很早以前就听说过Hue的便利与强大，一直没能亲自尝试使用，下面先通过官网给出的特性，通过翻译原文简单了解一下Hue所支持的功能特性集合： 默认基于轻量级sqlite数据库管理会话数据，用户认证和授权，可以自定义为MySQL、Postgresql，以及Oracle 基于文件浏览器（File Browser）访问HDFS 基于Hive编辑器来开发和运行Hive查询 支持基于Solr进行搜索的应用，并提供可视化的数据视图，以及仪表板（Dashboard） 支持基于Impala的应用进行交互式查询 支持Spark编辑器和仪表板（Dashboard） 支持Pig编辑器，并能够提交脚本任务 支持Oozie编辑器，可以通过仪表板提交和监控Workflow、Coordinator和Bundle 支持HBase浏览器，能够可视化数据、查询数据、修改HBase表 支持Metastore浏览器，可以访问Hive的元数据，以及HCatalog

一、准备工作 1.1 import matplotlib.pyplot as plt %matplotlib inline import numpy as np import pandas as pd import seaborn as sns plt.rcParams['font.sans-serif']=['SimHei'] # 用来显示正常的中文标签 plt.rcParams['axes.unicode_minus'] = False #用来正常显示负号 #sns.set_style=('darkgrid',{'font.sans-serif':['SimHei','Arial']}) import warnings #屏蔽部分警告信息 warnings.filterwarnings('ignore') 1.2导入内置数据集 seaborn.load_dataset(name,cache=True,data_home=None,**kws) name 参数是数据集名字，https://github.com/mwaskom/seaborn-data 定义数据集名 cache 参数是否提供缓存 data_home 参数是指定缓存路径，默认当前用户home下的seaborn-data目录中 sns.get_dataset_names()获得数据集名字 1.3调色板 #自定义调色板

1 简介 Hue 是什么？ Hue=Hadoop User Experience（Hadoop 用户体验），直白来说就一个开源的 Apache Hadoop UI 系统，它是基于Python Web 框架 Django 实现的，通过使用 Hue 我们可以在浏览器端的 Web 控制台上与 Hadoop 集群进行交互来分析处理数据。 2 安装部署 2.1、帮助文档 http://archive.cloudera.com/cdh5/cdh/5/hue-3.7.0-cdh5.3.0/manual.html 2.2、Hue 安装 1.安装前准备 必备的软件环境： Centos 7.6+Python 2.7.5+JDK8+Maven-3.3.9+Ant-1.8.1+Hue-3.7.0 必备的集群环境： Hadoop+HBase+Hive+ZK+MySQL+Oozie 配置环境变量 #JAVA_HOME export JAVA_HOME = /opt/module/jdk1.8.0_144 export PATH = $PATH : $JAVA_HOME /bin #MAVEN_HOME export MAVEN_HOME = /opt/module/maven-3.3.9 export PATH = $PATH : $MAVEN_HOME /bin #HADOOP_HOME export

HUE备份已定义好的workflow 最近使用HUE定义了一个很复杂的调度，但是调度执行到一半就开始报错.... 这个可真让人头疼呀， 从头开始跑数据吧 太费时间了，而且会容易造成Hive库总数据冗余 在workflow将已经跑完的部分删掉吧 又舍不得，万一下次整个调度又都出错了 又要重新配置 多累呀 慢慢摸索后，发现原来使用 HUE定义的workflow是可以被copy的 ，开心！！！ >>>错误信息 出错调度信息如下：（1,2,3成功，4开始报错及4以后的脚本信息都未被正常执行） >>>处理方案 1.登录HUE，点击下图红色标记位置，进入菜单栏 2.点击Documents 3. 看到我们定义好的workflow信息 4. 在需要复制的workflow那一行 右击鼠标（单击），选择下图标记的右上角位置，再点击 copy 5.选择了复制后，再重新进入Documents节点，则会看到复制的workflow啦 6.点击复制好的workflow，可以发现内容与原来的一模一样，这样子我们就可以直接删除已经执行成功了的配置了，调整出错脚本后接下来重新跑出错脚本及以后数据。（因为保留了最全的workflow.这个只是我们这次需要执行完的workflow. 下次也不用重新配置了） 处理结果：将已成功执行的脚本信息去掉，留下的剩下的三个未成功执行的脚本编辑为并行（确定脚本之间没有联系

由于一些模块的变迁，导致复现《python数据科学手册》代码（尤其第5章-机器学习）时，经常报错。 以下是我个人的一些校证。 如果诸位在学习《python数据科学手册》的过程中，遇到什么疑难，欢迎留言。 1. scikit-learn.cross_validation 模块变迁 自 `scikit-learn 0.20 `版起，已经用`model_selection`模块代替`cross_validation`模块。因此，复现代码时，`from sklearn.cross_validation import xxx` 时，会报出`ModuleNotFoundError: No module named 'sklearn.cross_validation'`的错误。 P307: In[15]:from sklearn.cross_validation import train_test_split # Error In[15]:from sklearn.model_selection import train_test_split # Amend In[20]: from sklearn.mixture import GMM # Error from sklearn.mixture import GaussianMixture # Amend In[5]: from sklearn

[toc] 环境需求 jdk maven git 第三方依赖 yum install -y gcc-c++ libxml2-devel.x86_64 libxslt-devel.x86_64 python-devel openldap-devel asciidoc cyrus-sasl-gssapi openssl-devel mysql-devel sqlite-devel gmp-devel libffi-devel npm 还有缺失什么可自行安装 创建hue用户和用户组 groupadd hue useradd -g hue hue 切换用户并进入hue根目录 su hue cd ~ 从git上拉取hue源码 git clone https://github.com/cloudera/hue.git 进入hue-master目录并编译 cd hue-master make apps 需要等待较长时间，若中间还缺少依赖可自行安装 修改hue配置文件 vi /home/hue/hue-master/desktop/conf/pseudo-distributed.ini 时区 [desktop] time_zone=Asia/Shanghai 用户角色 [desktop] server_user=hue server_group=hue default_user=hue

文章目录 19、HBase整合hue 1、Hue的介绍 HUE链接 Hue的架构 核心功能 2、Hue的环境准备及安装 第一步：下载依赖包 第二步：安装配置maven 第三步：为linux操作系统添加普通用户 第四步：下载hue压缩包并上传解压 第五步：修改配置文件 第六步：创建mysql数据库 第七步：对hue进行编译 第八步：启动hue服务并进行页面访问 3、hue与其他框架的集成 3.1、hue与hadoop的HDFS以及yarn集成 第一步：更改所有hadoop节点的core-site.xml配置 第二步：更改所有hadoop节点的hdfs-site.xml 第三步：重启hadoop集群 第四步：停止hue的服务，并继续配置hue.ini 3.2、配置hue与hive集成 3.5、hue与HBase的集成 第一步：修改hue.ini 第二步：启动hbase的thrift server服务 第三步：启动hue 第四步：页面访问 19、HBase整合hue 1、Hue的介绍 HUE=Hadoop User Experience 在没有HUE的时候，如果我们想要查看Hadoop生态圈各组件的状态，可以通过它们的webconsole，地址分别是： HDFS: NameNode网页 http://ip:50070 SecondaryNameNode网页: http://ip

/*--> */ /*--> */ 被你发现了，哈哈哈。这是一个有趣的小Demo哇。 鼠标左键键扫描选中上面区域查看效果 .gradient-text { background-image: linear-gradient(90deg, $red, $orange); background-clip: text; line-height: 60px; font-size: 60px; animation: hue 5s linear infinite; -webkit-text-fill-color: transparent; } @keyframes hue { from { filter: hue-rotate(0); } to { filter: hue-rotate(-1turn); } } <div class="bruce flex-ct-x"> <h1 class="gradient-text">Full Stack Developer</h1> </div> 来源： https://www.cnblogs.com/wxhhts/p/11551605.html

catplot(): 用分类型数据（categorical data）绘图 在关系图教程中，我们了解了如何使用不同的可视化表示来显示数据集中多个变量之间的关系。在这些例子中，我们关注的主要关系是两个数值变量之间的情况。如果其中一个主要变量是“分类”（分为不同的组），那么使用更专业的可视化方法可能会有所帮助。 下面所有函数的最高级别的整合接口：catplot() Categorical scatterplots: stripplot() (with kind=“strip”; the default) swarmplot() (with kind=“swarm”) Categorical distribution plots: boxplot() (with kind=“box”) violinplot() (with kind=“violin”) boxenplot() (with kind=“boxen”) Categorical estimate plots: pointplot() (with kind=“point”) barplot() (with kind=“bar”) countplot() (with kind=“count”) import seaborn as sns import matplotlib . pyplot as plt sns . set (