dbschema

一、实验介绍 logstash-jdbc-input 是Logstash提供的官方插件之一，该插件通过JDBC接口将任何数据库中的数据导入 Logstash。关于使用 logstash-jdbc-input 插件从数据库中导出数据到es上，大部分是关于mysql数据库的导入。本篇文章是关于如何使用 logstash-jdbc-input 插件对mongodb的数据进行实时导入。 二、版本说明 本实验使用的ELK版本是7.6.2。 （这里想要补充一下，关于mongodb数据库的数据导入，另外一种常使用的插件是 mongo-connector ，但该插件仅支持到elasticsearch5.x，因此对于更高版本的elasticsearch更推荐使用本篇文章使用的方法。） 三、具体实现 1. 下载相关的jdbc-driver文件并解压 下载地址： https://dbschema.com/jdbc-drivers/MongoDbJdbcDriver.zip 解压安装包： unzip MongoDbJdbcDriver.zip (安装包里面包括三个 jar 包文件： gson-2.8.6.jar 、 mongo-java-driver-3.12.4.jar 、 mongojdbc2.1.jar ) 将所有文件（即三个jar包）复制到 (~/logstash-7.6.2/logstash

数据建模是一个用于定义和分析在组织的信息系统的范围内支持商业流程所需的数据要求的过程。因此，数据建模的过程需要专业建模师与商业人员和信息系统潜在用户的紧密合作。那么数据建模都有哪些工具呢？小编今天给大家准备了6款，一起来看看吧！ 1、MapBusiness Online 人们可能没有考虑过的一种数据建模工具是MapBusiness。但是，创建销售或竞争对手区域图可以提供有助于企业发展的信息。企业甚至可以创建销售地区地图，以降低成本。提高销售代理商的生产率。并且发现其所在行业尚未开发的新市场。 2、Vertabelo Vertabelo是一个功能很强大的数据库设计建模工具，能够使用可视化建模，而不是在数据库中人工创建表格。该软件还适用于逆向工程模型。如果已有数据库，则可以使用该工具调整已构建元素的组织。 3、DbSchema DbSchema是一个适用于SQL和非SQL数据库的工具，这个数据库建模工具的一些好处包括交互布局、同步模式的能力、部署来自多个表的数据以及在不连接数据库的情况下设计模式。它可以轻松地从Excel文件上载数据，从而为企业提供了更多的机会来导入可能不在云平台中的原有数据表。该工具具有集成管理数据库所需的一切的能力，而无需购买其他软件。 4、HeidiSQL HeidiSQL是一个免费的数据建模工具，提供很多功能，例如能够在一个窗口中与多台服务器连接

前言：本文是对这篇博客Zabbix: Partitioning MySQL / MariaDB database Tables in 5 min的翻译，翻译如有不当的地方，敬请谅解，请尊重原创和翻译劳动成果，转载的时候请注明出处。谢谢！ 英文地址：https://bestmonitoringtools.com/zabbix-partitioning-tables-on-mysql-database 在本教程中，我们将逐步学习如何使用分区脚本（partitioning script）在MySQL或MariaDB服务器上对Zabbix数据库（history和trends表）进行分区。 Zabbix从主机采集数据并将其存储在history和trends表中，Zabbix的history表中保存原始数据（Zabbix采集的每一个值），trends表中存储每小时内的合并数据，那些数据的平均值、最小值、最大值。 Zabbix的housekeeping进程负责删除trends表和history表中的旧数据。使用delete语句从数据库删除旧数据可能对数据库性能产生负面的性能影响。因此，我们中许多人都收到过令人讨厌的警报 “ Zabbix housekeeper processes more than 75% busy ” 这个问题能够通过数据库分区方案轻松的解决

DevExpress v20.1完整版下载 XPO - ORM Library 数据库架构迁移（CTP） 使用此版本，您可以在更改XPO数据模型后以增量方式更新数据库架构并保留现有数据。 您可以在ORM数据模型设计器或代码中在最新数据模型与现有数据库模式之间生成差异（SQL脚本），数据库模式迁移作为社区技术预览发布。 支持SQL Server和Always Encrypted 在此版本中，XPO添加了对SQL Server 2016+的 Always Encrypted 支持，现在您可以读取、更新、排序和过滤加密的列数据（最后两个操作由加密模式驱动）。 支持Microsoft.Data.SqlClient XPO现在支持Microsoft.Data.SqlClient驱动程序，对于新的.NET Framework和.NET Core项目，Microsoft建议使用此驱动程序而不是System.Data.SqlClient。 展望未来，Microsoft也将仅在Microsoft.Data.SqlClient中支持SQL Server的新功能。 DevExpress v20.1.4新版发布,上中文网立即体验新版~ DevExpress技术交流群2：775869749 欢迎一起进群讨论 来源： oschina 链接： https://my.oschina.net/u/3992677

MongoDB是一种流行的数据库，可以在不受任何表格schema模式的约束下工作。数据以类似JSON的格式存储，并且可以包含不同类型的数据结构。例如，在同一集合collection 中，我们可以拥有以下两个文档document： { id: '4', name: 'Mark', age: '21', addresses : [ { street: '123 Church St', city: 'Miami', cc: 'USA' }, { street: '123 Mary Av', city: 'Los Angeles', cc: 'USA' } ] } { id: '15', name: 'Robin', department: 'New Business', example: 'robin@example.com' } 为了能够充分利用MongoDB的优势，您必须了解并遵循一些基本的数据库设计原则。在讲解设计方法之前，我们必须首先了解MongoDB存储数据的结构。 一、 数据如何存储在MongoDB中 与传统的RDBMS关系型数据库不同，MongoDB并没有表Table，行row和列column的概念。它将数据存储在集合collections，文档documents和字段fields中。下图说明了与RDBMS类比的结构之间的关系： 二、 数据库设计技巧和窍门 2.1.

【环境准备】 Centos6.5 安装golang运行环境 https://my.oschina.net/guiguketang/blog/4270638 安装mysql #yum install mysql-server 安装redis https://my.oschina.net/guiguketang/blog/3043486 初始化基础数据 cd /tmp/ && git clone https://github.com/open-falcon/falcon-plus.git cd /tmp/falcon-plus/scripts/mysql/db_schema/ mysql -h 127.0.0.1 -u root -p < 1_uic-db-schema.sql mysql -h 127.0.0.1 -u root -p < 2_portal-db-schema.sql mysql -h 127.0.0.1 -u root -p < 3_dashboard-db-schema.sql mysql -h 127.0.0.1 -u root -p < 4_graph-db-schema.sql mysql -h 127.0.0.1 -u root -p < 5_alarms-db-schema.sql rm -rf /tmp/falcon-plus/ 环境准备完毕！！！！

安全 所有入参均经过校验，包括验证参数数据类型、范围、长度，尽可能采用 白名单 形式验证所有的输入。对于非法请求，记录WARN log。参考 Input Validation Cheat Sheet ；前后端统一校验标准，最好统一自动生成代码。 避免拼接客户端可控参数到SQL语句，采用预编译形式执行SQL，尽可能使用#{}，特殊场景需使用${}时必须对参数做严格校验，比如限制类型、长度等。 对于服务端内部异常，统一返回Error Code和Error Message，避免返回Stacktrace等内部系统细节，参考 统一异常处理&错误码规范使用说明 。 所有接口读写敏感数据前必须增加 session 鉴权，校验数据归属为当前登录账户。 敏感信息不要硬编码到代码中（比如密码等）。 非公开页面或资源，必须要求服务端身份验证。 符合Least Privilege原则，具备逻辑严密的权限配置。 重要数据变动皆有审计日志，日志中不要保存敏感信息（系统详细信息、会话session或密码等）。 所有上传文件类型必须要做白名单检查，且统一存储到OSS。 禁止在代码中留任何形式的后门 兼容性 所有的模块外部接口不存在兼容性问题； 如果有DB Migration，说明需在发布前或发布后执行，兼容平滑发布； 所有的DB Schema变动均已考虑对统计的影响； 数据的含义或处理逻辑有变更时，考虑对存量

安全 所有入参均经过校验，包括验证参数数据类型、范围、长度，尽可能采用 白名单 形式验证所有的输入。对于非法请求，记录WARN log。参考 Input Validation Cheat Sheet ；前后端统一校验标准，最好统一自动生成代码。 避免拼接客户端可控参数到SQL语句，采用预编译形式执行SQL，尽可能使用#{}，特殊场景需使用${}时必须对参数做严格校验，比如限制类型、长度等。 对于服务端内部异常，统一返回Error Code和Error Message，避免返回Stacktrace等内部系统细节，参考 统一异常处理&错误码规范使用说明 。 所有接口读写敏感数据前必须增加 session 鉴权，校验数据归属为当前登录账户。 敏感信息不要硬编码到代码中（比如密码等）。 非公开页面或资源，必须要求服务端身份验证。 符合Least Privilege原则，具备逻辑严密的权限配置。 重要数据变动皆有审计日志，日志中不要保存敏感信息（系统详细信息、会话session或密码等）。 所有上传文件类型必须要做白名单检查，且统一存储到OSS。 禁止在代码中留任何形式的后门 兼容性 所有的模块外部接口不存在兼容性问题； 如果有DB Migration，说明需在发布前或发布后执行，兼容平滑发布； 所有的DB Schema变动均已考虑对统计的影响； 数据的含义或处理逻辑有变更时，考虑对存量

原文: C# ORM学习笔记：Dapper基本用法 一、基础知识 1.1、Dapper简介 Dapper是.NET下的一个micro ORM，它和Entity Framework或NHibnate不同，属于轻量级并且是半自动的（实体类都要自己写）。假如你喜欢原生的Sql语句，又喜欢ORM的简单，那你一定会喜欢上Dapper这款ORM。 1.2、Dapper优点 1）轻量。只有一个文件（SqlMapper.cs）。 2）速度快。Dapper的速度接近于IDataReader，取列表的数据超过了DataTable。 3）支持多种数据库。包括SQLite、SqlCe、Firebird、Oracle、MySQL、PostgreSQL、SQL Server。 4）可以映射一对一、一对多、多对多等多种关系。 5）性能高。通过Emit反射IDataReader的序列队列，来快速地得到和产生对象。 1.3、Dapper安装 此处使用Dapper扩展库Dapper.SimpleCRUD，它也会默认安装Dapper（依赖项）： 项目右键->管理 NuGet 程序包->Dapper.SimpleCRUD。 二、数据准备 2.1、数据表 在SQL Server中创建4个数据表，分别是：Student（学生表）、Teacher（教师表）、Course（课程表）、Record（成绩表）。 -- 学生表

一、原理与环境 在生成数据表的实体类时，利用自定义特性，给它打上表及字段的特性，然后使用反射原理，将自定义特性拼接成增、删、改、查对应的SQL，即可完成一个简单的ORM。 本示例的执行环境： 1）数据库：SQL Server。（可根据自己的需要，建立不同的数据库工厂。） 2）数据表：需使用自增类型(identity)作为数据表的主键。主键名字可以随便起，如ID。 3）实体类：实体类需提供无参构造函数。 二、演示数据表 Person表，包含主键（ID）、姓名（Name）、年龄（Age）、性别（Gender）。 CREATE TABLE [ dbo ] . [ Person ] ( [ ID ] [ BIGINT ] IDENTITY ( 1 , 1 ) NOT NULL , [ Name ] [ NVARCHAR ] ( 50 ) NULL , [ Age ] [ INT ] NULL , [ Gender ] [ NVARCHAR ] ( 10 ) NULL , CONSTRAINT [ PK_Person ] PRIMARY KEY CLUSTERED ( [ ID ] ASC ) WITH (PAD_INDEX = OFF , STATISTICS_NORECOMPUTE = OFF , IGNORE_DUP_KEY = OFF , ALLOW_ROW_LOCKS = ON ,