sqlserver

Sqoop将SQLServer数据导入HBase

旧城冷巷雨未停 提交于 2019-12-08 11:52:32
首先在Cloudera Manager中添加Sqoop服务,然后进行如下操作: jdbc的server驱动和SQLServer-hadoop connector包下载位置:http://download.csdn.net/detail/nma_123456/9405343 1、 Sqoop安装包中并不包含jdbc的SqlServer驱动,所以想在HDFS和SqlServer数据库之间导入导出数据,则需要先下载jdbc的SqlServer驱动。到 http://www.microsoft.com/download/en/details.aspx?displaylang=en&id=21599 上 下载jdbc驱动1033\sqljdbc_3.0.1301.101_enu.tar.gz,解压,把sqljdbc4.jar包拷贝到Sqoop安装 目录下的lib目录下 2、 但是这个只是jdbc中SqlServer的驱动,它并不支持HDFS与SqlServer数据库之间数据的传输,还需要下载 SQL Server-Hadoop Connector。下载地址为 http://www.microsoft.com/download/en/details.aspx?id=27584 , 解压得到sqoop-sqlserver-1.0目录,并在系统中添加环境变量MSSQL_CONNECTOR_HOME

Apache Pulsar IO之CDC Debezium Connector (SQLServer)

*爱你&永不变心* 提交于 2019-12-08 11:52:12
文章目录 启动Pulsar 创建pulsar-io-debezium-sqlserver-1.0.nar文件 创建maven项目 添加依赖 编写DebeziumSqlServerSource类 编写debezium-sqlserver-source-config.yaml文件 编写pulsar-io.yaml文件 创建pulsar-io-debezium-sqlserver-1.0.nar文件 上传文件至服务器 启动Debezium Connector 编写debezium-sqlserver-source-config.yaml文件 启动SQLServer Source 并订阅Topic 启动SQLServer Source 订阅Topic 问题回顾 参考文档 启动Pulsar 从官网下载tar.gz安装包 下载地址: https://archive.apache.org/dist/pulsar/pulsar-2.4.0/apache-pulsar-2.4.0-bin.tar.gz $ wget https://archive.apache.org/dist/pulsar/pulsar-2.4.0/apache-pulsar-2.4.0-bin.tar.gz 解压 $ tar zxvf apache-pulsar-2.4.0-bin.tar.gz 创建connectors文件夹

将sqlserver的数据导入hbase中

馋奶兔 提交于 2019-12-08 11:51:56
将sqlserver的数据导入hbase中 1.解压sqoop-sqlserver-1.0.tar.gz,并改名(可以不改) tar -zxvf sqoop- sqlserver-1.0.tar.gz mv sqoop-sqlserver-1.0 mssql ls 2.来到root用户修改环境变量 su root vi /etc/profile 增加环境变量export MSSQL_CONNECTOR_HOME=/home/hadoop/mssql source /etc/profile 3.来到mssql目录启动install.sh cd mssql/ ls ./install.sh 4.测试查询办公电脑的sqlserver的所有数据库(服务器跟办公电脑的策略不通,不同访问) sqoop list-databases --connect jdbc:sqlserver://188.1.34.83;username=sa;password=sa123; 5.所以直接访问188.2.72.121(访问成功) sqoop list-databases --connect 'jdbc:sqlserver://******;username=***;password=*******'; 6.导入表 sqoop import --connect 'jdbc:sqlserver://***

SQLSERVER -> SQLSERVER && SQLSERVER-> ORACLE DBLINK创建

我怕爱的太早我们不能终老 提交于 2019-12-08 11:51:39
SQLSERVER -> SQLSERVER && SQLSERVER-> ORACLE DBLINK创建 sqlserver -> sqlserver 右键Linked Servers --> 新建,在弹出如下对话框中,在General 选项卡 输入Linked Server名字或IP,Server Type选择SQL Server。 或者Server Type选择Other data source,则data source填写需要连接的db的ip及port。 然后选择Security选项卡 选择Be made using the login's current security context选项 然后选择Server Options选项卡 将其中RPC和RPC Out选项置为True,点击确定即可建立成功。 SQLSERVER --> ORACLE 这里与sqlserver --> sqlserver不同, 同样,右键新建,这里server type选择 other data source, 在provider选项里选择Oracle Proider for OLE DB(可能有的童鞋发现Provide里面没有这一项提供选择,这是因为没有装oracle client的原因,装好之后就会显示出来) ,然后再Product name、Data source、Provider

用这款免费工具,即可解决 90% 的报表设计难题

自古美人都是妖i 提交于 2019-12-07 20:53:27
用这款免费工具,即可解决 90% 的报表设计难题 大数据时代,数据价值愈发彰显,数据分析正在成为影响业务决策的关键因素。其中,数据分析的结果以报表的形式呈现给用户,究竟什么样的报表设计才能真正让用户满意,如何保证用户在复杂的数据字段中快速查询到想要的结果,用怎样的数据分析方式才能为企业带来价值?这些疑问伴随着企业报表开发的整个生命周期,在不断消耗报表开发者精力的同时,也让不少项目团队产生怀疑。 那么,在报表开发和设计过程中,您是否也遇到过如下难题: 了解报表需求,但不知如何实现 了解业务需求,但不知如何进行数据分析 能够设计报表,但样式布局无法达到专业要求 静态报表无法满足业务需要,不知如何实现数据交互 葡萄城报表模板库 ,基于为全球 300 万报表用户提供工具和服务的基础,能有效降低报表开发的门槛和难度,使您一步成为报表设计专家。 报表模板库是一款完全免费的报表制作、学习和参考工具,凝聚了超过20个行业的经典报表模板,您无需安装任何报表开发软件,即可浏览、设计并下载 200余套行业报表,以“所见即所得”的方式实时预览修改结果,并将所设计的报表直接应用到实际项目中。报表模版库与开发者的关系,如同教案于教师,处方于医生。 报表模板库 = 报表设计/报表开发者不可或缺的工具 提供高品质报表模板合辑   报表模板库中包含了超过 200 张高质量行业报表模板,从报表类型、报表样式、外观

SQLSERVER 高效分页查询

☆樱花仙子☆ 提交于 2019-12-07 16:02:38
Sqlserver数据库分页查询一直是Sqlserver的短板,闲来无事,想出几种方法,假设有表ARTICLE,字段ID、YEAR...(其他省略),数据53210条(客户真实数据,量不大),分页查询每页30条,查询第1500页(即第45001-45030条数据),字段ID聚集索引,YEAR无索引,Sqlserver版本:2008R2 第一种方案: SELECT TOP 30 * FROM ARTICLE WHERE ID NOT IN(SELECT TOP 45000 ID FROM ARTICLE ORDER BY YEAR DESC, ID DESC) ORDER BY YEAR DESC,ID DESC 第二种方案: SELECT * FROM (SELECT TOP 30 * FROM (SELECT TOP 45030 * FROM ARTICLE ORDER BY YEAR DESC, ID DESC) f ORDER BY f.YEAR ASC, f.ID DESC) s ORDER BY s.YEAR DESC,s.ID DESC 第三种方案: SELECT * FROM ARTICLE w1, (SELECT TOP 30 ID FROM (SELECT TOP 50030 ID, YEAR FROM ARTICLE ORDER BY YEAR DESC, ID

拦截SQLSERVER的SSL加密通道替换传输过程中的用户名密码实现运维审计(一)

限于喜欢 提交于 2019-12-07 16:02:26
工作准备 •一台SQLSERVER 2005/SQLSERVER 2008服务 •SQLSERVER jdbc驱动程序 •Java开发环境eclipse + jdk1.8 •java反编译工具JD-Core 反编译JDBC分析SQLSERVER客户端与服务器通信原理 SQLServerConnection.class 1、经过反编译分析SQLServerConnection.class文件我们可以看到登录时所执行的算法,代码如下图所示: 由此可见sqlserver在用户名密码传输过程中使用了SSL加密,从上图中我们可以看到在启用SSL加密前执行了Prelogin(String param,int param2)函数,该函数算法大致如下图所示: 2、经过一些列分析得知,在启用SSL加密前客户端向服务器发送了客户端驱动信息之后立即读取服务返回的版本内容以作判断当前所使用的驱动是否支持。 3、在反编译分析代码过程中可以看到用户名密码加密算法分别所示: 由此可以通过逆向推算得出用户名密码解密算法如下所示: TDSChannel.class 1、经过反编译分析SQLServerConnection.class 文件得知通过调用TDSChannel.class 中的函数enableSSL(String param,int param2),那么经过反编译TDSChannel

如何解决90%的报表设计难题?300张报表模板任君挑选

a 夏天 提交于 2019-12-07 11:26:55
下载ActiveReport最新试用版 大数据时代,数据价值愈发彰显,数据分析正在成为影响业务决策的关键因素。其中,数据分析的结果以报表的形式呈现给用户,究竟什么样的报表设计才能真正让用户满意,如何保证用户在复杂的数据字段中快速查询到想要的结果,用怎样的数据分析方式才能为企业带来价值?这些疑问伴随着企业报表开发的整个生命周期,在不断消耗报表开发者精力的同时,也让不少项目团队产生怀疑。 那么,在报表开发和设计过程中,您是否也遇到过如下难题: 了解报表需求,但不知如何实现 了解业务需求,但不知如何进行数据分析 能够设计报表,但样式布局无法达到专业要求 静态报表无法满足业务需要,不知如何实现数据交互 葡萄城报表模板库 ,基于为全球 300 万报表用户提供工具和服务的基础,能有效降低报表开发的门槛和难度,使您一步成为报表设计专家。 报表模板库是一款完全免费的报表制作、学习和参考工具,凝聚了超过20个行业的经典报表模板,您无需安装任何报表开发软件,即可浏览、设计并下载 200余套行业报表,以“所见即所得”的方式实时预览修改结果,并将所设计的报表直接应用到实际项目中。报表模版库与开发者的关系,如同教案于教师,处方于医生。 报表模板库 = 报表设计/报表开发者不可或缺的工具 1、 提供高品质报表模板合辑 报表模板库中包含了超过 200 张高质量行业报表模板,从报表类型、报表样式、外观 UI

关于数据库断线重连的一点点思考

浪子不回头ぞ 提交于 2019-12-07 02:06:41
最近在写数据库链接池,一个不可逃避的问题就是数据库断线重连。 查了很多资料,因为公司有很多项目用了 TP5 于是也去看了它的源码。 tp5的实现其实很简单,配置了一些数据库连接相关的错误信息关键词(句),然后在执行语句时 catch 异常信息进行比对: // 服务器断线标识字符 protected $breakMatchStr = [ 'server has gone away', 'no connection to the server', 'Lost connection', 'is dead or not enabled', 'Error while sending', 'decryption failed or bad record mac', 'server closed the connection unexpectedly', 'SSL connection has been closed unexpectedly', 'Error writing data to the connection', 'Resource deadlock avoided', 'failed with errno', ]; catch (\PDOException $e) { if ($this->isBreak($e)) { return $this->close()->query(