信息架构

翻译自Hive官方文档 Design 目录 Hive Architecture （Hive架构） Hive Data Model （Hives数据模型） Metastore （元数据） Motivation （动因） Metadata Objects （元数据对象） Metastore Architecture （元数据架构） Metastore Interface （元数据接口） Hive Query Language （Hive查询语言） Compiler （编译器） Optimizer （优化器） Hive APIs Figure 1 Hive Architecture（Hive 架构） 图1显示了Hive的主要组件及其与Hadoop的交互。如该图所示，Hive的主要组件是： UI ：用户向系统提交查询和其他操作的用户界面。 Driver ：接收查询的组件（Component）。这个组件实现了session句柄的概念，并提供了在JDBC/ODBC接口上执行和获取模型化的API。 Compiler ：解析查询的组件，对不同的查询块（query blocks）和查询表达式(query expressions)进行语义分析，最终在表(元数据表)的帮助下生成执行计划，并从Metastore中查找分区元数据。 MetaStore ：存储仓库中各种表和分区的所有结构化信息的组件

一、什么是LNMP？ LNMP指的是一个基于Centos/Debian编写的NGINX、PHP、MySQL、PHPmyadmin、eaccelerator集成的一键安装包。可以在VPS、独立的（云）主机上轻松地安装生产环境。 1、软件服务解释： Linux：一套免费试用和自由传播的类Unix操作系统，是一个基于POSIX和Unix的多用户、多任务、支持多线程和多CPU的操作系统。代表linux版本有： NGINX：一个高性能的HTTP和反向代理服务器，也是一个IMAP/pop3/SMTP代理服务器。 PHP：一种在服务端执行的嵌入HTML文档的脚本语言。 MySQL：一个关系型数据库管理系统（RDBMS）。 PHPmyadmin：一个以PHP为基础和web-base方式架构在网站主机上的MySQL的数据库管理工具，能让管理者可用web接口管理MySQL数据库。 eaccelerator：一个自由开源的PHP加速器，优化和动态内容缓存，提高PHP脚本的缓存性能，使PHP脚本在编译的状态下，对服务器的开销几乎完全消除。能使PHP程序代码执效提高1-10倍。 2、LNMP工作原理 lnmp简化版原理： 第一步、用户在浏览器输入域名或者IP访问网站 第二步、用户在访问网站的时候，向web服务器发出http request请求，服务器响应并处理web请求，返回静态网页资源，如CSS

如下图所示，从逻辑上来看，Hive包含了3大部分。 Hive Clients Hive Services Hive Storage and Computing 用户操作Hive的接口主要有三个：CLI，Client 和 WUI。 其中最常用的是CLI，Cli启动的时候，会同时启动一个Hive副本。 Client是Hive的客户端，用户连接至Hive Server。在启动 Client模式的时候，需要指出Hive Server所在节点，并且在该节点启动Hive Server。而客户端则又可以分为三种Thrift Client，JDBC Client，ODBC Client。 Web Interface是通过浏览器访问Hive。 Hive将元数据存储在数据库中，如mysql、derby。Hive中的元数据包括表的名字，表的列和分区及其属性，表的属性（是否为外部表等），表的数据所在目录等。 解释器、编译器、优化器完成HQL查询语句从词法分析、语法分析、编译、优化以及查询计划的生成。生成的查询计划存储在HDFS中，并在随后由MapReduce调用执行。 Hive的数据存储在HDFS中，大部分的查询、计算由MapReduce完成（注意，包含 的查询，比如select from tbl不会生成MapRedcue任务）。 上图中的Driver会处理从应用到metastore到filed

内容来源：宜信研发架构师肖云朋老师于WOT峰会分享《分布式主动感知在智能运维中的实践》 导读：企业数字化使得运维智能化转型成为必然，宜信积极推动 AIOps 在科技金融企业的落地实践。本次主题是探索 AIOps 落地的一种形式：通过行为采集、仿真模拟、主动感知等手段，从用户侧真实系统使用体验出发，结合全维监控数据，更加有效的实现智能异常检测和根因分析。 一、运维的发展 1.1 运维的价值 早期的运维工作比较简单，一般是先由系统集成工程师及研发工程师研发完项目后交付出来，再由负责运维工作的人员从后台做一些操作，保证系统正常运行。 图1 随着软件研发行业和技术的发展，运维的工作也变得越来越丰富。现阶段运维的工作与价值主要集中在三个方面： 1）效率 大量业务上线，运维人员需要保障快速高效地为系统提供资源、应对业务变更、响应操作请求。 2）质量 运维的目标是保障质量及系统的稳定性。也就是说，要保障业务和系统7*24小时在线上稳定运行，为用户提供流畅舒适的体验。为实现这个目标，运维的相关工作包括： 故障预测：没出现问题之前预测到故障发生的可能。 异常检测：出现问题时很快检测并定位到异常点。 根因分析：分析问题的诱因，找出真正导致问题的根本原因。 动态扩容：问题处理的过程中可能受到复杂因素的影响，需要对系统进行动态扩容。 服务降级：不影响核心业务的边缘业务可能需要做服务降级处理。 3）成本