info

云计算与大数据实验:Hbase shell操作用户表

本小妞迷上赌 提交于 2019-12-05 09:10:59
【实验目的】 1)了解hbase服务 2)学会hbase shell命令操作用户表 【实验原理】 HBase是一个分布式的、面向列的开源数据库,它利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理HBase中的海量数据。本试验hbase提供了一个shell的终端通过操作命令对表user操作。 【实验环境】 本次环境是:centos6.5 + jdk1.7.0_79 + hadoop-2.4.1 + hbase 工具包在/simple/soft目录下 【实验步骤】 一 、操作hbase表score 1.1 通过命令start-all.sh启动hadoop,在linux系统中终端执行命令:start-hbase.sh回车启动hbase服务。然后执行连接hbase shell命令:hbase shell进入命令环境,然后执行命令:create ‘user’,’info’,’data’创建一个表user并指定该表的一个列族info和data。如图1所示 图1 1.2 创建user表后需要向user表中插入信息,row key为rk0001,列族info中添加name列标示符,值为zhangsan,执行命令:put 'user', 'rk0001', 'info:name', 'zhangsan'。向user表中插入信息,row key为rk0001

python --- requests模块

♀尐吖头ヾ 提交于 2019-12-05 09:05:37
1、先下载requests模块 import requests url = 'http://api.nnzhp.cn/api/user/stu_info' res = requests.get(url,{'stu_name':'xiaohei'}) #res = requests.request('get',) print(res.json()) #只能接受json格式的响应体 print(res.text) #响应体有xml、json、html格式,可以用response.text来接收 print(res.headers) print(res.status_code) 2、 3、 来源: https://www.cnblogs.com/hzgq/p/11917948.html

CBV到DRF视图函数/快速了解DRF

偶尔善良 提交于 2019-12-05 08:59:38
第一部分 问题 前后端分离? vue.js 后端给前段返回json数据 移动端盛行。 app 后端给app返回json数据 PC端应用? crm项目,前段后端一起写,运行在浏览器上。 一般情况下都是PC端使用。 第二部分 任务 以前的写的url : http://127.0.0.1:8000/info/get/ http://127.0.0.1:8000/info/add/ http://127.0.0.1:8000/info/update/ http://127.0.0.1:8000/info/delete/ 现在的我们:要遵循restful规范 http://127.0.0.1:8000/info/ get,获取数据 post,添加 put,更新 delete,删除 基于django可以实现遵循restful规范的接口开发: FBV,可以实现比较麻烦。 CBV,相比较简答根据method做的了不同的区分。 第三部分 初识drf 3.1 安装 pip3 install djangorestframework 3.2 使用 注册app INSTALLED_APPS = [ 'django.contrib.admin', 'django.contrib.auth', 'django.contrib.contenttypes', 'django.contrib.sessions',

tensorflow 神经网络基本使用

僤鯓⒐⒋嵵緔 提交于 2019-12-05 08:49:26
TF使用ANN(artificial neural network) 简介 受到生物神经网络的启发 发展历史 生物神经网络单元 逻辑运算单元:and、or、xor等运算 感知机(perceptron): h w ( x ) = s t e p ( w T ⋅ x ) //--> 多层感知机和反向传播(multi-perceptron and backpropagation) perceptron sklearn中也有感知机的库,其参数学习规则是 w n e x t s t e p i , j = w i , j + η ( y ^ j − y j ) x i //--> 其中 η //--> 是学习率 感知机与SGD很类似 逻辑斯蒂回归可以给出样本对于每一类的分类概率,而感知机则是直接根据阈值给出分类结果,因此一般在分类时,逻辑斯蒂回归相对感知机来说会常用一点 感知机是线性的,难以解决非线性问题;但是如果采用多个感知机,则可以避免这个问题 多层感知机和反向传播 感知机的激活函数是step函数,得到的结果非0即1,无法用于反向传播(需要求取微分),因此利用Logistic函数 σ ( z ) = 1 / ( 1 + e x p ( − z ) ) //--> 替代之前的step函数,这个logistic函数也被称为 激活函数 常用的激活函数有 logistic函数 双曲正切函数: t

[学习笔记] 在Eclipse中使用Hibernate,并创建第一个工程,数据库为Oracle XE

可紊 提交于 2019-12-05 08:41:31
工程创建可参考前文: [学习笔记] 在Eclipse中使用Hibernate,并创建第一个工程,数据库为Oracle XE 在工程上鼠标右键: 找到java 选择 Runable JAR file Next 点击Finish 打开文件目录 D:\tmp 会看到一个jar 及 一个子目录,运行jar所依赖的jar文件都在这个子目录之中了。 执行这个jar,打开dos窗口 执行如下命令 cd d:\tmp java -jar Hibernate_demo_001.jar 输出内容如下: 十一月 23, 2019 10:57:45 上午 org.hibernate.annotations.common.reflection.java.JavaReflectionManager <clinit> INFO: HCANN000001: Hibernate Commons Annotations {4.0.4.Final} 十一月 23, 2019 10:57:45 上午 org.hibernate.Version logVersion INFO: HHH000412: Hibernate Core {4.3.5.Final} 十一月 23, 2019 10:57:45 上午 org.hibernate.cfg.Environment <clinit> INFO: HHH000206:

[学习笔记] 在Eclipse中使用Hibernate,并创建第一个工程

寵の児 提交于 2019-12-05 08:31:05
在Eclipse中使用Hibernate 安装 Hibernate Tools 插件 https://tools.jboss.org/downloads/ Add the following URL to your Eclipse 4.13 (2019-09) installation, via: Help > Install New Software… > Work with: http://download.jboss.org/jbosstools/photon/stable/updates/ Then select the individual features that you want to install: 点击Next 点击Next 同意相关协议,点击Finish . 则会开始下载安装。 视网络速度,可能需要几分钟到十几分钟的时间才能完成安装。 最后会提示重启Eclipse才能生效。 在Eclipse中新建Hibernate应用 File->New -> Java Project 点击Finish 项目结构图 在Eclipse中新建用户库 此时下面显示了已经建立的用户库列表 我们要添加Hibernate的依赖库,因此点击用户库 Hibernate_4.3.5_final 选择jar文件 项目结构图 继续配置Hibernate 最后自动形成 如下的文件内容:

使用Apache log4net

*爱你&永不变心* 提交于 2019-12-05 07:21:00
一、设置Nuget. 工具→Nuget程序包管理器→程序包管理器设置→NuGet Package Manager→程序包源→勾选nuget.org https://www.nuget.org/api/v2/→确定。 二、添加log4net的Nuget包。 工具→Nuget程序包管理器→管理解决方案的NuGet程序包 三、添加配置文件 右击项目→添加→新建项→应用程序配置文件(web或者winform……)并修改名字叫:log4net.config→右击生成出来的log4net.config→属性→将 “复制到输出目录” 的值改为 如果较新则复制。 <?xml version="1.0" encoding="utf-8" ?> <configuration> <configSections> <section name="log4net" type="log4net.Config.Log4NetConfigurationSectionHandler,log4net"/> </configSections> <log4net> <!-- OFF, FATAL, ERROR, WARN, INFO, DEBUG, ALL --> <!-- Set root logger level to ERROR and its appenders --> <!--<root> <level

股票爬虫

喜欢而已 提交于 2019-12-05 06:29:06
from selenium import webdriverfrom my_fake_useragent import UserAgentfrom lxml import etree#import jsonimport csv"""序号,股票代码,股票简称,现价(元),涨跌幅(%)"""def selenium_test(): # 配置Chrome浏览器 chrome_options = webdriver.ChromeOptions() # 创建一个配置 ua = UserAgent().random # 随机抽取一个ua print('user-agent: ', ua) chrome_options.add_argument('user-agent=' + str(ua)) chrome_options.add_experimental_option('excludeSwitches', ['enable-automation']) chrome_options.add_argument('blink-settings=imagesEnabled=false') chrome_options.add_argument('--headless') # 无头模式 chrome_options.add_argument('--disable-gpu') # 禁用gpu加速 #

如何简单实现接口自动化测试(基于 python)

微笑、不失礼 提交于 2019-12-05 06:24:30
GitChat 作者:饿了么技术社区 原文: 如何简单实现接口自动化测试(基于 python) 关注微信公众号:GitChat 技术杂谈 ,这里一本正经的讲技术 一、简介 本文从一个简单的登录接口测试入手,一步步调整优化接口调用姿势,然后简单讨论了一下接口测试框架的要点,最后介绍了一下我们目前正在使用的接口测试框架 pithy 。期望读者可以通过本文对接口自动化测试有一个大致的了解。 二、引言 为什么要做接口自动化测试? 在当前互联网产品迭代频繁的背景下,回归测试的时间越来越少,很难在每个迭代都对所有功能做完整回归。但接口自动化测试因其实现简单、维护成本低,容易提高覆盖率等特点,越来越受重视。 为什么要自己写框架呢? 使用requets + unittest很容易实现接口自动化测试,而且requests的api已经非常人性化,非常简单,但通过封装以后(特别是针对公司内特定接口),再加上对一些常用工具的封装,可以进一步提高业务脚本编写效率。 三、环境准备 确保本机已安装python2.7以上版本,然后安装如下库: pip install flask pip install requests 后面我们会使用flask写一个用来测试的接口,使用requests去测试。 四、测试接口准备 下面使用flask实现两个http接口,一个登录,另外一个查询详情,但需要登录后才可以

HBase Shell 常用命令

假如想象 提交于 2019-12-05 06:16:30
常用的HBase Shell命令 名称 命令表达式 创建表 create '表名称', '列名称1','列名称2','列名称N' 添加记录 put '表名称', '行名称', '列名称:', '值' 查看记录 get '表名称', '行名称' 查看表中的记录总数 count '表名称' 删除记录 delete '表名' ,'行名称' , '列名称' 删除一张表 先要屏蔽该表,才能对该表进行删除,第一步 disable '表名称' 第二步 drop '表名称' 查看所有记录 scan "表名称" 查看某个表某个列中所有数据 scan "表名称" , ['列名称:'] 更新记录 就是重写一遍进行覆盖 一、一般操作 1.查询服务器状态 hbase(main):024:0>status 3 servers, 0 dead,1.0000 average load 2.查询hive版本 hbase(main):025:0>version 0.90.4, r1150278,Sun Jul 24 15:53:29 PDT 2011 二、DDL操作 1.创建一个表 hbase(main):011:0>create 'member','member_id','address','info' 0 row(s) in 1.2210seconds 2.获得表的描述 hbase(main):012:0