kettle

kettle资料库 用于存储转换和作业的，方便操作和维护。通过右上角“connect”按钮进行操作。 优点 资料库中定义的数据库链接可以通用，不需要每个转换、每个作业新建数据库连接。 分类 文件资料库和数据库资料库。 文件资料库 本地一个文件夹，不能直接定义数据连接，新建转换或作业时定义，后面的转换或作业都可以用刚才新建的。 数据库资料库 数据库中一个数据库，可以直接通过左上角”加号图表“新建数据连接。 说明 资料库的创建过程不能用中文。 “connect”按钮消失解决 问题描述： kettle资源库配置变为灰色，且主面板右上角的connect按钮消息 问题原因： 中文乱码造成，新建资源库命名时不要用中文名 问题解决： 1，进入用户目录中 .kettle 下 2，打开repository.xml 将乱码部分删除或改为英文 3，将同文件下 .spoonrc 文件和 db.cache- 文件删除 4，重启kettle 问题描述： kettle资源库配置变为灰色，且主面板右上角的connect按钮消息 问题原因： 中文乱码造成，新建资源库命名时不要用中文名 问题解决： 1，进入用户目录中 .kettle 下 2，打开repository.xml 将乱码部分删除或改为英文 3，将同文件下 .spoonrc 文件和 db.cache- 文件删除 4，重启kettle 来源： https:/

from: https://www.cnblogs.com/yiyezhiqiusmile/p/6010898.html 使用Kettle在不同的数据库抽取数据时，有时会出现中文乱码问题：其解决方案如下： 1.查看数据库的字符集是否是UTF-8(最常用的字符集) 2.如果数据库设置正确仍然存在中文乱码，则可能是因为有的客户端数据库默认的编码集不是UTF-8，我们只需要在输出时对输出的数据库进行编码配置。我的数据库是MySql，下面是解决图示： a.我的转换图 b.打开表输出——>数据库连接后的“编辑”——>Advanced,在下方的空白处输入：set names utf8;，设置数据库客户端的字符集为utf8。 c.打开Options，添加参数characterEncoding，设置值为gbk/utf8。 OK！！！ 使用Kettle在不同的数据库抽取数据时，有时会出现中文乱码问题：其解决方案如下： 1.查看数据库的字符集是否是UTF-8(最常用的字符集) 2.如果数据库设置正确仍然存在中文乱码，则可能是因为有的客户端数据库默认的编码集不是UTF-8，我们只需要在输出时对输出的数据库进行编码配置。我的数据库是MySql，下面是解决图示： a.我的转换图 b.打开表输出——>数据库连接后的“编辑”——>Advanced,在下方的空白处输入：set names utf8;

一、什么是 ETL ETL，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取（ extract ）、转换（ transform ）、加载（ load ）至目的端的过程。 ETL 一词较常用在数据仓库，但其对象并不限于数据仓库。 二、Kettle简单说明 Kettle是一款国外开源的 ETL 工具，纯 java 编写，可以在 Window 、 Linux 、 Unix 上运行，数据抽取高效稳定。 三、需求 1、 Mysql 5.X数据迁移到 DB2 8.X 2、 主键自增改成 32 位 UUID 三、准备工作 1、 源数据库： Mysql 5.6 2、 目标数据库： DB2 8.X 3、 数据迁移工具： Kettle6.0.0.0-353 四、实战开始 1、说明一下省略掉的步骤 在开始使用 Kettle 前，我使用了 PowerDesigner18.6 建立数据模型，然后导出对应数据库的建表脚本，这里我导出了 DB2 8.X 的建表脚本，然后首先在 DB2 中将目标表建立好。其实在 Kettle 中也可以在执行过程中来建立表，我也是初学 Kettle ，所以选择了一种相对简单的方式来操作，毕竟关注重点在于数据迁移这方面上。 2、安装 JDK 因为 Kettle 是纯 JAVA 写的，所以依赖 JDK ，至于 JDK 的安装不是本文的重点

将Oracle的jar包拷到了kettle的lib下后报错如下，没头绪查找问题所在。后来将jar包又放到了C:\Program Files (x86)\Java\jdk1.8.0_131\jre\lib\ext目录下。成功连接oracle数据库。解决了困扰一周的问题。 错误连接数据库 [2] : org.pentaho.di.core.exception.KettleDatabaseException: Error occurred while trying to connect to the database Error connecting to database: (using class oracle.jdbc.driver.OracleDriver) IO 错误: Undefined Error org.pentaho.di.core.exception.KettleDatabaseException: Error occurred while trying to connect to the database Error connecting to database: (using class oracle.jdbc.driver.OracleDriver) IO 错误: Undefined Error at org.pentaho.di.core.database

Kettle有几年没用过了，昨天刚好开发找我，说同步ORACLE几张表的数据到MySQL，ORACLE的数据有可能更新，可以通过时间字段，但是全量同步，当天上生产由于数据量大不一定来得及，需要提前想个方案，问我做还是他来做，说他没有找到什么好办法，那就我来吧。就在这一瞬间，我脑子里浮现出来几个方案： 1. 用python写个程序读取ORACLE，通过ID判断，来增量插入到MySQL 2. 用JAVA写个程序读取ORACLE，通过ID判断，来增量插入到MySQL 3. 通过SPARK批量读取ORACLE，通过ID判断，来增量插入到MySQL 4. 通过ORACLE spool到文件，然后在MySQL load inpath 5. 通过kettle增量插入并更新 以上1-4都是增量插入，那么更新的数据怎么来处理，我想了一个办法，通过盗用ogg抓取ORACLE日志存放到KAFKA，写一个spark streaming实时更新这些数据到MySQL。 第一个想法通常会第一个实现，因此我打开Pycharm，安装oracle, MySQL的module, 一直提示gcc++错误，装不了，于是百度，浪费了我半个小时也没搞定，于是放弃了，反正我方案多的是。思来想去，还是用kettle吧，ETL工具不用太麻烦。 我习惯性的把问题肢解成2个步骤： 1. 增量插入 2. 处理更新的数据

1.将kettle连接mysql的包放入lib文件目录 2.修改data-integration\simple-jndi路径下的jdbc.properties配置文件，加上如下内容（kettle为数据库名称，MYSQL8_DB为JNDI名称）： MYSQL8_DB/type=javax.sql.DataSource MYSQL8_DB/driver=com.mysql.cj.jdbc.Driver MYSQL8_DB/url=jdbc:mysql://localhost:3306/kettle?useUnicode=true&characterEncoding=utf8&useSSL=false&serverTimezone=GMT MYSQL8_DB/user=root MYSQL8_DB/password=root 3.填写如下内容 4.测试： 来源： https://www.cnblogs.com/ssyh/p/11524879.html

Kettle的脚本–>Modified Java Script Value不仅可以写js代码来处理数据，也可利用这个组件调用已经写好的Jar文件。 第一步、准备java项目。 在IDE中新建java项目，并写好相应的处理逻辑。 将写好的java项目，导出成jar包，放到kettle的lib或者libext文件夹内（注意：项目内引用的jar包，若kettle中不存在，也要一并复制进去）。 第二步、重启kettle，开发转换调用jar。 新建转换，如下图 因为脚本不能直接被执行，前面需要有一个输入组件，内容可以随便填。 脚本内容如下： //其中 com .jsoup .main .RunMain ()为到类名的引入，mains()为需要调用的方法名。 var re = new Packages .com .jsoup .main .RunMian () ; var FamilyNames = re .mains () ; 另外，下面的Compatibility mode需要勾选。 确定后运行测试即可。 来源： CSDN 作者： 俊不见高堂明镜 链接： https://blog.csdn.net/u010758605/article/details/50848580

I am trying to add a new data type (Geometry) to Kettle. I have added a new Value type to org.pentaho.di.compatibility. I have added a ValueGeometry class and made the necessary modifications to ValueInterface and Value. The code compiles but the new data type does not show up in plugins like Select. What am I missing here? Also I'd appreciate if you could point me towards the source code for these plugins. Thanks. As of Kettle 5.0, it is possible to create a plugin to provide new Value types: http://jira.pentaho.com/browse/PDI-191 I have a plugin to add a key/value type (like java.util.Map):

/告诉Oracle JDBC驱动使用service name而不是sid 来源： https://www.cnblogs.com/ls11736/p/11456869.html