Hadoop

一.场景: spark通过phoenix 读取hbase表，其实说白了先要去Zookeeper建立connection。 二.代码: 点击(此处)折叠或打开 val zkUrl = "192.168.100.39,192.168.100.40,192.168.100.41:2181" val formatStr = "org.apache.phoenix.spark" val oms_orderinfoDF = spark.read.format(formatStr) .options(Map("table" -> "oms_orderinfo", "zkUrl" -> zkUrl)) .load 三.查看SparkJob日志: 点击(此处)折叠或打开 17/10/24 03:25:25 INFO zookeeper.ClientCnxn: Opening socket connection to server hadoop40/192.168.100.40:2181. Will not attempt to authenticate using SASL (unknown error) 17/10/24 03:25:25 INFO zookeeper.ClientCnxn: Socket connection established, initiating session,

目录 什么是分布式系统 分布式系统挑战 分布式系统特性与衡量标准 组件、理论、协议 用一个请求串起来 一个简化的架构图 概念与实现 总结 references 正文 　　虽然本人在前面也写过好几篇分布式系统相关的文章，主要包括 CAP理论 、 分布式存储 与 分布式事务 ，但对于分布式系统，并没有一个跟清晰的概念。分布式系统涉及到很多的技术、理论与协议，很多人也说，分布式系统是“入门容易，深入难”，我之前的学习也只算是管中窥豹，只见得其中一斑。因此，一致希望能对分布式系统有一个更全面的认识，至少能够把分布式系统中的各个技术、理论串起来，了解他们在分布式系统分别解决什么问题，有哪些优秀的实现。 　　我曾在网络上搜索过”如何学习分布式系统“，也在知乎上关注了该话题，但并没有看到一个全面的、有指导意义的答案。本文的目标是给打算全面学习分布式系统的自己、以及感兴趣的读者指明一条可行的路径，使得之后的学习不再盲目。 　　不过，我并没有越过这座山，我只是站在山前，从前人留下的痕迹揣测山的全貌与沟壑，臆想的成分居多，还望各位大师指点迷津。 　　2018 03 14更新：对于如何学习分布式系统，经过思考，我觉得有更好的方法，请参见《 分布式学习最佳实践：从分布式系统的特征开始（附思维导图） 》 　　本文地址： http://www.cnblogs.com/xybaby/p/7787034.html

今天跟大家分享的是关于RDS 数据库入门一本通。 文末下拉获取网盘链接 1.RDS 数据库概览页 1.1概览页的由来 1.2概览页 2.RDS 数据库实例列表 3.RDS 数据库实例详情页 3.1基本信息 3.2账户管理 3.3数据库管理 3.4备份恢复 3.5数据库连接 4.RDS 实例数据库代理 4.1代理服务 4.2读写分离 4.3关闭代理服务 4.4读写分离基本信息 5.RDS 实例监控与报警 5.1监控 5.2报警 6.RDS 实例数据安全性 6.1白名单设置 6.2SQL 审计 6.3SSL 6.4TDE 7.RDS 实例服务可用性 7.1主备切换设置 7.2主备库切换 7.3修改数据复制方式 8.RDS 实例日志管理 8.1错误日志 8.2慢日志明细 8.3慢日志统计 8.4主备切换日志 9.RDS 实例 SQL 洞察 9.1搜索 9.2分析 9.3服务设置 9.4导出 10.RDS 实例参数设置 10.1应用模板 10.2导出为模板 10.3导入参数 10.4导出参数 10.5参数修改 11.自治服务 ( 原 CLOUDDBA) 12.章专属集群（原主机组列表） 13.RDS 实例跨地域备份 13.1恢复数据 13.2设置 14.已删除实例备份 14.1设置 14.2下载 15.RDS 实例回收站 16.待处理事件 16.1运行状态 16.2开始时间 16

来源：大数据文摘 本文 约3500字 ，建议阅读 5 分钟 作为个人或公司，如何选择分析和可视化数据的工具？ 正确分析使用数据可能会挖到宝藏。那么，作为个人或公司，如何选择分析和可视化数据的工具？ 在本文中，我们从各个方面比较三个工具的功能。 Microsoft Excel发布于1985年，本质上是一种具有计算，绘图工具，数据透视表和宏编程语言等功能的工具，可以在Windows，Mac，Android，iOS等多种操作系统上运行。 Tableau发行于2003年，是一种交互式数据可视化软件，被公认为增长最快的数据可视化工具，主要是因为它能够帮助用户查看和理解数据。它将原始数据转换成可理解的视觉效果，从而改变人们使用数据进行问题解决和决策的方式。 Power BI于2014年发布，它是Microsoft提供的基于云的分析和商业智能服务。旨在为用户提供交互式的可视化和商业智能，简单的数据共享，数据评估和可扩展的仪表板等功能。 让我们从一些参数角度来比较这三种软件。 1. Data Sources 数据源 Excel是一种灵活，易于使用的电子表格，通常用于创建数据集。它可以借助数据连接功能将外部数据源中的数据提取到电子表格中，还可以从Web，Microsoft Query，SharePoint列表，OData Feed，Hadoop文件（HDFS）等来源获取数据。因此

先简单介绍一下NFS服务器是什么？ 　　NFS server可以看作是一个FILE SERVER,它可以让你的PC通过网络将远端的NFS SERVER共享出来的档案MOUNT到自己的系统中，在CLIENT看来使用NFS的远端文件就象是在使用本地文件一样。 RPC（Remote Procedure Call） 　　NFS本身是没有提供信息传输的协议和功能的，但NFS却能让我们通过网络进行资料的分享，这是因为NFS使用了一些其它的传输协议。而这些传输协议用到这个RPC功能的。可以说NFS本身就是使用RPC的一个程序。或者说NFS也是一个RPC SERVER.所以只要用到NFS的地方都要启动RPC服务，不论是NFS SERVER或者NFS CLIENT。这样SERVER和CLIENT才能通过RPC来实现PROGRAM PORT的对应。可以这么理解RPC和NFS的关系：NFS是一个文件系统，而RPC是负责负责信息的传输。 ubuntu系统 服务器端（192.168.94.54） 1.1安装NFS服务： 执行以下命令安装NFS服务器， apt会自动安装nfs-common、rpcbind等13个软件包 sudo apt install nfs-kernel-server 1.2编写配置文件： 编辑/etc/exports 文件： sudo vi /etc/exports /etc