info

hbase 表的设计与其它大数据框架的集成

二次信任 提交于 2020-04-08 11:34:53
一:hbase 表的设计管理 二:hbase hive 集成 三:sqoop 与hbase 的集成 四:hbase 与hue 集成 五:hbase 表的修复 一:hbase 表的设计管理 1.1 hbase 的shell 命令 1.1.1 创建一个命名空间 在新版本的hbase 中 表是存储在命名空间当中,默认的命名空间是default 创建一个命名空间: create_namespace 'ns2' 查看有多少个命名空间: list_namespace 在命名空间中建立表: create 'ns2:student','info' 查询命名空间中的表: list_namespace_tables 'ns2' 1.1.2 一张表创建多个列簇 create 'ns1:t1', {NAME => 'f1'}, {NAME => 'f2'}, {NAME => 'f3'} 相当于: create 'ns1:t1', 'f1', 'f2', 'f3' 描述一张表: describe 't1' 1.2.3 创建rowkey 的范围region 区域: 默认情况下hbase 创建表时,会默认划分region 区域 结合实际环境来看,无论是测试环境还是生产环节,我们创建好的hbase 需要大量的的导入数据 file/data --> hfile -> bulk load into hbase

Python正课69 —— 属性查找

谁说胖子不能爱 提交于 2020-04-07 21:57:49
本文内容皆为作者原创,如需转载,请注明出处: https://www.cnblogs.com/xuexianqi/p/12655768.html 一:属性查找 class Student: # 1、变量的定义 stu_school = 'oldboy' count = 0 # 空对象,'egon',18,'male' def __init__(self, x, y, z): Student.count += 1 self.stu_name = x # 空对象.stu_name='egon' self.stu_age = y # 空对象.stu_age=18 self.stu_gender = z # 空对象.stu_gender='male' # return None # 2、功能的定义 def tell_stu_info(self): print('学生信息:名字:%s 年龄:%s 性别:%s' % ( self.stu_name, self.stu_age, self.stu_gender )) def set_info(self, x, y, z): self.stu_name = x self.stu_age = y self.stu_gender = z def choose(self, x): print('正在选课') self.course = x stu1

Day27作业

◇◆丶佛笑我妖孽 提交于 2020-04-07 20:48:04
'''选课系统项目中涉及到诸多数据与功能,要求引入面向对象的思想对其进行高度整合# 1、学校数据与功能整合# 2、课程数据与功能进行整合# 3、学生数据与功能进行整合# 4、讲师数据与功能进行整合# 5、班级数据与功能进行整合ps:不会写的同学,可以先用普通的方式,先把数据与功能都给写好,再考虑基于面向对象的思想进行整合数据部分: 校区的名字:如"老男孩上海校区" 校区的地址:如"上海虹桥" 班级名字 班级所在校区 学生的学校 学生的姓名 学生的年龄 学号 学生的性别 课程名字 课程周期 课程价格 老师的名字 老师的年龄 老师的薪资 老师的等级功能部分: 校区创建完毕后,可以为每个校区创建班级 班级创建完毕后,可以为每个班级创建课程 学生创建完毕后,学生可以选择班级 老师创建完毕后,可以为学生打分'''class School: def __init__(self, name, adress): self.name = name self.adress = adress def school_info(self): print("校区的名字:{} 校区的地址:{}".format(self.name, self.adress)) def create_class(self, class_name): print('在 {} 创建班级 {} 成功'.format(self.name

《自拍教程55》Python_批量验证1000个apk(附练手素材)

和自甴很熟 提交于 2020-04-07 19:22:07
接上一篇案例: Python_批量下载1000个apk ,我们只讲了如何下载, 其实市场部提供的表格,不仅仅包含了apk的下载地址,还有apk的版本号,还有MD5信息等, 如何确保你下载的这1000个apk,是下载过程中未出错,版本号对的上,MD5信息也对上? 附:市场部提供的包含apk版本号,md5信息的表。 本案例主要介绍:如何快速地实现对已经下载好的app进行批量地验证。 准备阶段 本篇只讲验证apk的版本号与md5信息,不讲下载。 需要确保aapt已经成功地加入到了环境变量中去 “aapt dump bagding XXX.apk | findstr version”命令可以解析某个apk的versionName信息。 Windows操作系统可以用“certutil -hashfile XXX.apk MD5”命令可以计算某apk的MD5哈希值, MD5是用于验证文件下载过程完整性的常用的一套计算方法,确保被下载的文件,在网络传输过程中,未被篡改或者损坏。 Linux操作系统可以用“md5sum XXX.apk”命令来计算某个apk的MD5哈希值。 其实Python的hashlib模块,也可以进行MD5哈希值的计算,可不受操作系统影响。 上一篇案例,我们已经下载好了的apk是放在“downloaded_apk”文件下,os.listdir(

MySQL5.7特性:JSON数据类型

谁说胖子不能爱 提交于 2020-04-07 10:52:00
概述 MySQL5.7的发行声明中,官方称之为里程碑式的版本,除了运行速度大幅度提升之外,还添加了之前版本没有的功能,如本文所述的原生JSON数据类型功能。 在此版本之前,MySQL所有的JSON数据类型,全部是使用text等文本类型来实现的,数据的处理只能在应用代码级来实现,十分不方便。 什么是JSON类型 作为DBA,可能会对这个概念稍微有点陌生,但是对于开发者来说,这是一个十分熟悉的事物。 JSON(JavaScript Object Notation, JS 对象简谱) 是一种轻量级的数据交换格式。它基于 ECMAScript (欧洲计算机协会制定的js规范)的一个子集,采用完全独立于编程语言的文本格式来存储和表示数据。简洁和清晰的层次结构使得 JSON 成为理想的数据交换语言。 易于人阅读和编写,同时也易于机器解析和生成,并有效地提升网络传输效率。 MySQL原始JSON类型的优势在哪? 原生的JSON优势如下: 存储上类似text,可以存非常大的数据。 存储在JSON列中的JSON文档的自动验证 。无效的文档会产生错误。 优化的存储格式。存储在JSON列中的JSON文档将 转换为内部格式,以允许对文档元素进行快速读取访问。 相比于传统形式,不需要遍历所有字符串才能找到数据。 支持索引:通过虚拟列的功能可以对JSON中部分的数据进行索引。 MySQL的JSON类型

13 阶乘之和

断了今生、忘了曾经 提交于 2020-04-07 08:01:20
1 def f(x): 2 if x == 0: 3 return 0 4 elif x == 1: 5 return 1 6 else: 7 return (x * f(x - 1)) 8 while 1: 9 info = int(input('>>>:')) 10 print(f(info)) 11 print('还想试试吗?(输入no退出)') 12 info = input('>>>:') 13 if info == 'no': 14 break 15 info1 = int(info) 16 print(f(info1)) 来源: https://www.cnblogs.com/reaix/p/12651191.html

设计模式-组合模式

╄→гoц情女王★ 提交于 2020-04-07 07:50:07
组合模式(Composite Pattern)也叫合成模式,有时又叫做部分-整体模式(Part-Whole), 主要是用来描述部分与整体的关系: 定义: Compose objects into tree structures to represent part-whole hierarchies.Composite lets clients treat individual objects and compositions of objects uniformly.(将对象组合成树形结构以表示“部分-整体”的层次结构,使得用户对单个对象和组合对象的使用具有一致性。) 举个最常见的例子,公司组织架构就是一个典型的树状结构(网上截取图): image.png 我们一般会这样设计组织架构,看代码实现 首先根节点IROOT /** * 根节点 * @author shuliangzhao * @Title: IRoot * @ProjectName design-parent * @Description: TODO * @date 2019/6/18 22:37 */ public interface IRoot { //得到总经理的信息 public String getInfo(); //总经理下边要有小兵,那要能增加小兵,比如研发部总经理,这是个树枝节点 public void

jw player 5去掉share,info,embed页面

断了今生、忘了曾经 提交于 2020-04-07 06:20:53
<div id="content-main"> <div id='player_8482'></div> </div> <script type='text/javascript'> jwplayer('player_8482').setup({ file: "jwplayer/a1.mp4", width: "480", height: "270", image: "jwplayer/preview.jpg", plugins:{ sharing:{ onpause: false, oncomplete: false } } }); </script> 增加颜色标记处的代码 还可以这样 <script type='text/javascript'> jwplayer('player_8482').setup({ file: "jwplayer/8-1.flv", width: "480", height: "270", image: "jwplayer/preview.jpg", plugins:{ viral:{ onpause:false, oncomplete:false, allowmenu:false } } }); </script> 来源: oschina 链接: https://my.oschina.net/u/105614/blog/94674

【原创】大叔问题定位分享(13)HBase Region频繁下线

六眼飞鱼酱① 提交于 2020-04-06 13:15:42
问题现象:hive执行sql报错 select count(*) from test_hive_table; 报错 Error: java.io.IOException: org.apache.hadoop.hbase.client.RetriesExhaustedException: Failed after attempts=36, exceptions: Wed May 16 10:22:17 CST 2018, null, java.net.SocketTimeoutException: callTimeout=60000, callDuration=68270: row '6495922803d09' on table 'test_hbase_table' at region=test_hbase_table,6495922803d09,1526207008130.6060407a4aa5e23c8df09614dd3fe650., hostname=server121,16020,1526398855988, seqNum=47468 直接原因一:region状态 这个hive表是外部表,底层数据存放在hbase中,出现问题的region状态: 2018-05-16 03:18:16 在RegionServer server121 上线; 2018-05-16 06

python pyinstaller 打包exe报错

回眸只為那壹抹淺笑 提交于 2020-04-06 11:36:35
今天用python 使用pyinstaller打包exe出现错误 环境pyqt5 + python3.6 32位 在导入pyqt5包之前加上如下代码 import sysimport osif hasattr(sys, 'frozen'): os.environ['PATH'] = sys._MEIPASS + ";" + os.environ['PATH']from PyQt5.QtWidgets import QApplication, QMainWindowfrom pyqt_ui.MainWindow import MainWinif __name__ == '__main__': app = QApplication(sys.argv) mainWindow = QMainWindow() main_dialog = MainWin(mainWindow) mainWindow.show() sys.exit(app.exec_()) 运行 pyinstaller -F main2.py 96 INFO: PyInstaller: 3.5 97 INFO: Python: 3.6.4 97 INFO: Platform: Windows-7-6.1.7601-SP1 98 INFO: wrote E:\workspace\devTest\main2.spec 100