kettle

kettle学习笔记07—数据库报错处理

谁说胖子不能爱 提交于 2019-11-27 15:41:47
1.数据库连接报错 解决办法,是链接相应的数据库的jar包没有加到Kettel中去。在百度或者以前的web项目中找个数据库的jar包。 将MySQL-connector-java-5.1.18.jar复制到D:kettle5.1data-integrationlib下面, 重新启动一次,这下就好了。再次测试,测试通过连接成功。 2.数据传输乱码 在数据库连接选项卡中,在选项中增加命名参数和值setCharacterEncoding = utf8 (命名参数:setCharacterEncoding 值:utf8) 另外确保在创建数据库时,Character Set同时也设为utf8. 来源: https://blog.csdn.net/ZZQHELLO2018/article/details/99693186

kettle学习笔记08—变量

人盡茶涼 提交于 2019-11-27 15:41:39
1.变量的类型 Kettle 的早期版本中的变量只有系统环境变量,新版本变量一般包括系统环境变量, “Kettle变量” 和内部变量三种系统环境变量的影响范围很广,凡是在一个 JVM下运行的线程都受其影响. Kettle变量限制了变量的作用范围, 变量范围包括三种分别是 grand-parent job, parent job, root job 内部变量是 kettle 内置的一些变量, 主要是kettle 运行时依赖的环境, 如转换文件名称, 转换路径,ip地址, kettle 版本号等等. 2.变量的设置 “系统环境变量” 有三种设置方式 1) 通过命令行 -D 参数 2) 属性文件 kettle.property 中设置, 该属性文件位于 ${user.home}.kettle 下 3) 通过设置环境变量步骤 (Set Variable) 设置.”Kettle 变量” 只能通过设置环境变量 (Set Variable) 步骤设置,同时设置变量的作用范围. “内部变量” 是预置的无须设置. 来源: https://blog.csdn.net/ZZQHELLO2018/article/details/99693217

kettle学习笔记09—将数据导出为Excel

隐身守侯 提交于 2019-11-27 15:41:33
既然是导出数据,说明我们肯定有一个源头,一个目标,源头是数据库目标是excel 1.新建转换 文件–>新建–>转换 2.连接数据库 点击转换里的DB连接–>新建–>输入相关信息进行连接 3.新建表输入 核心对象–>输入–>表输入 双击进行编辑 数据库连接:选择数据库 SQL面板:输入SQL语句,需要查询的内容 例如:select * from user 预览没问题,确定 4.Excel输出并关联 核心对象–>输出—>excel输出 双击进行编辑,里面会有四个Tab,分别是文件、内容、格式、字段 【文件】 步骤名称:Excel输出 文件名:选中存放位置并命名文件 【字段】 我们单击"获取字段",就可以从源头获取表中的字段了,当然,我们可以只导出我们需要的字段。 5.进行关联(hop操作) 第一次创建excel输出时,双击会自动hop关联,拖拽需要手动按住shift进行关联 6.保存文件,再点击运行 运行过后再制定的目录下会看到导出的excel文件 来源: https://blog.csdn.net/ZZQHELLO2018/article/details/99693244

kettle学习笔记10—配置文件的使用

旧城冷巷雨未停 提交于 2019-11-27 15:41:21
如果有很多个转换,我们每链接一次数据库,都需要重复的输入那些数据库地址、端口、用户名啊之类的。所以我们可以使用变量的方式,写在配置文件中,来避免这些重复性工作。 1.配置文件的位置 Windows下是在当前用户的目录下,一般再C盘,Users(用户)下面,有一个当前用户的文件夹,下面有.kettle文件夹,或者找到kettle的安装目录下 进入文件夹:我们会看到一个kettle.properties的文件,我们的数据库配置信息,就可以放在这里 # This file was generated by Pentaho Data Integration version 8.3.0.0-371. # # Here are a few examples of variables to set: # # PRODUCTION_SERVER = hercules # TEST_SERVER = zeus # DEVELOPMENT_SERVER = thor # # Note: lines like these with a # in front of it are comments # 2.配置数据库 打开配置文件kettle.propertise,在下方添加自己的数据库信息 # This file was generated by Pentaho Data Integration

Pass DB Connection parameters to a Kettle a.k.a PDI table Input step dynamically from Excel

佐手、 提交于 2019-11-27 14:59:02
问题 I have a requirement such that whenever i run my Kettle job, the database connection parameters must be taken dynamically from an excel source on each run. Say i have an excel with column names : HostName, Username, Database, Password. i want to pass these connection parameters to my table input step dynamically whenever the job runs. This is what i was trying to do. 回答1: You can achieve this by reading the DB connection parameters from a source (e.g. Excel or in my example a CSV file)

kettle的安装使用及介绍

﹥>﹥吖頭↗ 提交于 2019-11-27 09:29:52
1.安装。   kettle可以运行在windows和linux及unix上,mac当然也包括了。 在这三个环境上跑都需要先安装并配置好jdk环境,然后windows环境的话运行spoon.bat ,即批处理命令脚本,Linux的话运行 spoon.sh,即shell脚本,此篇主要介绍linux下kettle的可视化界面安装运行。 2.linux下的具体步骤。   「」 linux下创建一个叫kettle的文件夹,把我们从网上下载到的文件(pdi-ce-6.1.A-stable.zip)通过解压放到该文件夹下,进入到pdi-ce-6.1.A-stable/data-integration目录下:cd /pdi-ce-6.1.A-stable/data-integration,添加权限:chmod +x *.sh 「」测试安装是否成功: ./kitchen.sh 「」运行弹出图形化界面:./spoon.sh 「」弹出图形化,安装成功。 3.注意事项,如果linux没有安装图形化界面,需要先安装图形化界面。jdk如果已有openjdk1.8也可以使用,无需在安装sunjdk1.8.    Linux安装图形界面命令:     yum -y groupinstall Desktop      yum -y groupinstall "X Window System"     

转载:kettle7.1的资源库配置变为灰色,且没有了Connect按钮

二次信任 提交于 2019-11-27 07:29:18
版权声明:本文为CSDN博主「wbliu001」的原创文章,遵循CC 4.0 by-sa版权协议,转载请附上原文出处链接及本声明。 原文链接: https://blog.csdn.net/liuwenbiao1203/article/details/77579436 问题:kettle7.1的资源库配置变为灰色,且没有了Connect按钮 解决问题步骤: 1、找到repository.xml文件目录,我的是“C:\Users\Administrator.kettle\repository.xml”; 2、将乱码的资源库删除掉,或者改为英文; 3、将同文件夹下的.spoonrc文件和db.cache-*文件删除掉; 4、重启你的kettle。 如此,kettle就可以恢复正常了。 来源: https://blog.csdn.net/M_3616/article/details/99550422

Using Pentaho Kettle, how do I load multiple tables from a single table while keeping referential integrity?

橙三吉。 提交于 2019-11-26 22:50:47
问题 Need to load data from a single file with a 100,000+ records into multiple tables on MySQL maintaining the relationships defined in the file/tables; meaning the relationships already match. The solution should work on the latest version of MySQL, and needs to use the InnoDB engine; MyISAM does not support foreign keys. I am a completely new to using Pentaho Data Integration (aka Kettle) and any pointers would be appreciated. I might add that it is a requirement that the foreign key

CentOS7部署kettle

こ雲淡風輕ζ 提交于 2019-11-26 13:03:15
去 官网下载kettle , 或者 百度网盘下载 (nnnk),解压到目录/opt/service/, 解压后的目录是data-integration kettle需要java环境才能运行,因此要安装Java, 点击我查看部署jdk 安装图形化界面 yum groupinstall "X Window System" 来源: https://www.cnblogs.com/sellsa/p/11321554.html

Kettle增量插入更新所有数据都拒绝情况处理

扶醉桌前 提交于 2019-11-26 02:50:37
在使用Kettle抽取数据,我发现一个平时正常跑的转换,突然不正常了。他增量查询没问题,但是到插入更新的那一步,所有数据都拒绝,而且报错看不出什么。 经过排查,所有的写的步骤都是正确的,但是就是不进库。 后来,我把所有的步骤重新新建,然后就可以了!!! 再后来,我又遇到这种情况,然后把增量查询的sql重新复制,粘贴进去,再保存一下,也正常进库了。可能是kettle识别有问题把?? 来源: 51CTO 作者: 神谕03 链接: https://blog.51cto.com/newcourage/2400620