数据抽取

建模时遇到过哪些问题 CUBE与DSO的选择，CUBE中数据尽量保持粒度不要太明细； 上线遇到过什么问题？ 软件环境，一点就报错，提示BW函数出错，实际是GUI的问题，覆盖两个OCX文件，用Regsrv32.exe注册一下就好了 数据上传出错怎么办？ 点开错误堆栈，查看报错，分析报错内容，看是由请求引起的还是数据本身有问题 处理链出错怎么办？ SM59 测试RFC连接，SM50查看后台运行的进程，是否有执行时间超长的进程，可能是进程卡死导致，手动停止该进程。sm37查看后台job，任务被取消了 如何抽取汇率？ RSCUR 设置汇率转换 如何在 query 中把默认的转换汇率改成期末汇率 ? 在 query 中默认的汇率转换类型都是 “M” ，但现在我需要把一个报表的转换汇率改成期末汇率，即汇率类型为 “V”. ? 在 RSCUR 中创建新的货币转换类型就可以了 现在有一个 QUERY 运行十分慢 , 所以我想在 BW 里找到一个工具来分析这个 QUERY 是怎么运行的 . 想知道慢在什么地方 , 用了多少时间等一些具体信息 . 　　　　在 BW 中使用交易代码 RSRT 填上需要测试的报表的技术名称 单击执行 + 调试 勾选弹出的调试选项对话框的其他中的显示统计数据和未使用高速缓存 输入 Querry 的所需要的变量，运行 结果回来之后， F3 返回 统计数据界面

1. INFORMATICA CLIENT的使用 1.1 Repository Manager 的使用 1.1.1 创建Repository。 前提： a.在ODBC数据源管理器中新建一个数据源连接至你要创建Repository的 数据库 （例：jzjxdev） b. 要在你要连接的数据库中新建一个用户（例：name: ETL password: ETL） 现在你可以创建一个Repository了。选择Repository – Create Repository,输入RepositoryName（例：JZJX），Database Username（例：etl），Database Password（例：etl），ODBCData Source（例：jzjxdev），Native ConnectString（数据库所在ip例：141.20.52.108） 1.1.2 添加Repository。 通过这一步你可以添加别人已经建好的Repository。 选择Repository – Add Repository,输入RepositoryName（例：JZJX），Username(例：etl),点击ok就可以看到名为JZJX的Repository在左边的浏览器中，但是此时还看不到它的内容，要看到它的内容或者对它进行操作必须先连接它。 1.1.3 添加Folder 选择Folder –

1 、安装 GoldenGate 每个 GoldenGate 实例可支持 5000 个 Extract 和 Replicat 进程 每个 Extract 和 Replicat 需要 25-50M 或更多的内存，这取决于系统的事物量和事物大小 GoldenGate 实际使用的物理内存由操作系统控制和管理， GoladenGate 缓存管理器利用操作系统内存管理功能的优势，确保 GoladenGate 进程持续和有效的工作 1.1 Manager 　　 Manager 进程必须在源端和目标端运行，并且在 Extract 和 Replicat 进程之前启动，没有该进程 OGG 无法做其它的操作，它管理启动 Oracle GoldenGate 进程、启动动态进程、分配端口给 GoldenGate 进程、管理 trail file 、创建事件，错误和诊断报告工作； 1.2 Extract 　　 Extract 运行在源端或者根据系统和业务的需求可以同时运行在两端，抽取捕获系变更统数据；它可以配置为初始化数据加载 ( 直接从数据源中加载静态的数据 ) 和在某个时间点后源端与服务端变更数据同步 ( 从在线日志或归档日志抽取捕获变更的数据 ) ，它也可以在支持 DDL 变更的系统中抽取捕获 DDL ； 　　当配置为数据同步时， extract 进程抽取捕获 extract

1. What is a logical data mapping and what does it mean to the ETL team? 什么是逻辑数据映射？它对ETL 项目组的作用是什么？ 答：逻辑数据映射（Logical Data Map）用来描述源系统的数据定义、目标数据仓库的模型以及将源系统的数据转换到数据仓库中需要做操作和处理方式的说明文档，通常以表格或Excel的格式保存如下的信息： 目标表名： 目标列名： 目标表类型：注明是事实表、维度表或支架维度表。 SCD类型：对于维度表而言。 源数据库名：源数据库的实例名，或者连接字符串。 源表名： 源列名： 转换方法：需要对源数据做的操作，如Sum(amount)等。 逻辑数据映射应该贯穿数据迁移项目的始终，在其中说明了数据迁移中的ETL策略。在进行物理数据映射前进行逻辑数据映射对ETL项目组是重要的，它起着元数据的作用。项目中最好选择能生成逻辑数据映射的数据迁移工具。 2. What are the primary goals of the data discovery phase of the data warehouse project? 在数据仓库项目中，数据探索阶段的主要目的是什么？ 答：在逻辑数据映射进行之前，需要首先对所有的源系统进行分析。对源系统的分析通常包括两个阶段，一个是数据探索阶段（Data

目录 前言 2.1 知识表示和建模 2.2知识表示学习 2.3实体识别与链接 2.4实体关系学习 2.5事件知识学习 2.6 知识图谱查询和推理计算 参考文献 前言 本文介绍了有关知识图谱领域相关的基本知识的定义、意义，以及研究的内容与挑战。 2.1 知识表示和建模 ·Sowa J F. Knowledge representation: logical, philosophical, and computational foundations. 1999. ·Noy N F, McGuinness D L. Ontology Development 101: A Guide to Creating Your First Ontology. another version（找不到） 知识表示 知识表示将现实世界中的各类知识表达成计算机可存储和计算的结构。机器必须要掌握大量的知识，特别是常识知识才能实现真正类人的智能。从有人工智能的历史开始，就有了知识表示的研究。知识图谱的知识表示以结构化的形式描述客观世界中概念、实体及其关系，将互联网的信息表达成更接近人类认知世界的形式，为理解互联网内容提供了基础支撑。 哲学家柏拉图把知识（Knowledge）定义为“Justified True Belief”，即知识需要满足三个核心要素：合理性（Justified）、真实性（True）、被相信

要从数据库中导出数据量较大的数据到CSV文件中，用kettle来导出。 新建一个kettle转换 在表输入里获取数据源 可以直接给相应字段设置别名 输出到文件 导出的文件名： 文件名称 浏览 自定义名称， 选择逗号分隔值的文件 分隔符默认的是分号； 改成逗号 字符编码设置 根据导出的数据库编码格式设置 一般为 UTF-8： 注意导出的CSV文件获取字段时，string类型 字段长度要清空 用默认宽度会报错，点击最小宽度 可一键操作。 来源： CSDN 作者： hyfstyle 链接： https://blog.csdn.net/hyfstyle/article/details/104570150

kafka+zookeeper搭建见文章 教程url flume安装： 1、 下载地址 2、安装-下图 新建数据库和表 3、配置新增conf/mysql-flume.conf [root@node191 apache-flume-1.8.0-bin]# cat conf/mysql-flume.conf a1.channels = ch-1 a1.sources = src-1 a1.sinks = k1 ###########sql source################# # For each one of the sources, the type is defined a1.sources.src-1.type = org.keedio.flume.source.SQLSource a1.sources.src-1.hibernate.connection.url = jdbc:mysql://192.168.3.191:3306/chenhuachao # Hibernate Database connection properties a1.sources.src-1.hibernate.connection.user = root a1.sources.src-1.hibernate.connection.password = abcd@1234 a1

''' 生成抽样数据 ''' import pandas as pd import numpy as np df = pd . DataFrame ( np . arange ( 600 ) . reshape ( 100 , 6 ) , #100行6列 columns = [ 'A' , 'B' , 'C' , 'D' , 'E' , 'F' ] ) print ( df ) #设置随机种子 np . random . seed ( 10 ) #若不设置随机种子，则每次抽样的结果都不一样 #按个数抽样，不放回 df . sample ( n = 10 ) #抽取10个数据，这10个数据肯定不一样，因为是不放回抽样 #按个数抽样，有放回抽样 df . sample ( n = 20 , replace = True ) #抽取20个数据，这20个数据里可能有一样的数据，因为是放回抽样 #按照百分比抽样，不放回 df . sample ( frac = 0.2 ) #抽取20%的数据 #按照百分比抽样，有放回 df . sample ( frac = 0.2 , replace = True ) #抽取20%的数据 print ( np . random . seed ( 10 ) ) 来源： CSDN 作者： 徕胖 链接： https://blog.csdn.net

参考自： [ FFmpeg抽取视频h264数据] https://www.jianshu.com/p/11cdf48ec248 [ FFmpeg抽取音频数据​] https://www.jianshu.com/p/5337260efd97 [ ADTS详解] https://www.jianshu.com/p/af0165f923e9 音频流 代码实现： 1 #include "stdafx.h" 2 ​ 3 #define DDug av_log(NULL, AV_LOG_WARNING, "in loop!\n"); 4 ​ 5 void cal_adts_header(uint8_t *header, int dataLen) { 6 // aac级别，0: AAC Main 1:AAC LC (Low Complexity) 2:AAC SSR (Scalable Sample Rate) 3:AAC LTP (Long Term Prediction) 7 int aac_type = 1; 8 // 采样率下标，下标7表示采样率为22050 9 int sampling_frequency_index = 4; 10 // 声道数 11 int channel_config = 2; 12 ​ 13 // ADTS帧长度,包括ADTS长度和AAC声音数据长度的和。 14

/*--> */ /*--> */ 1 说明 1.1 下载和文档说明 下载地址: http://www.oracle.com/technetwork/middleware/goldengate/downloads/index.html 我下载的是Oracle GoldenGate 12.1.2.1.0版本的Oracle GoldenGate V12.1.2.1.0 for Oracle on Linux x86-64 (336 MB) 在线文档地址: http://www.oracle.com/technetwork/middleware/goldengate/documentation/index.html Oracle GoladenGate介绍: https://docs.oracle.com/goldengate/1212/gg-winux/GWUAD/wu_about_gg.htm#GWUAD110 Oracle 官方的安装教程: http://www.oracle.com/webfolder/technetwork/tutorials/obe/fmw/goldengate/12c/OGG12c_Installation/index.html Step by step GoldenGate configuration: https://sachinichake