sqlserver

如何在SQLServer中处理每天四亿三千万记录的

旧街凉风 提交于 2020-11-29 10:51:11
项目背景 这是给某数据中心做的一个项目,项目难度之大令人发指,这个项目真正的让我感觉到了,商场如战场,而我只是其中的一个小兵,太多的战术,太多的高层之间的较量,太多的内幕了。具体这个项目的情况,我有空再写相关的博文出来。 这个项目是要求做环境监控,我们暂且把受监控的设备称为采集设备,采集设备的属性称为监控指标。项目要求:系统支持不少于 10w 个监控指标,每个监控指标的数据更新 不大于20秒 ,存储延迟 不超过120秒 。那么,我们可以通过简单的计算得出较理想的状态——要存储的数据为: 每分钟30w,每个小时1800w,也就是每天4亿3千两百万 。而实际,数据量会比这个大5%左右。(实际上大部分是信息垃圾,可以通过数据压缩进行处理的,但是别人就是要搞你,能咋办) 上面是项目要求的指标,我想很多有不少大数据处理经验的同学都会呲之以鼻,就这么点?嗯,我也看了很多大数据处理的东西,但是之前没处理过,看别人是头头是道,什么分布式,什么读写分离,看起来确实很容易解决。但是,问题没这么简单,上面我说了,这是一个非常恶劣的项目,是一个行业恶性竞争典型的项目。 没有更多的服务器,而是这个服务器除了搭配数据库、集中采集器(就是数据解析、告警、存储的程序),还要支持30w点的北向接口(SNMP),在程序没有优化之前CPU常年占用80%以上。因为项目要求要使用双机热备,为了省事,减少不必要的麻烦

Django连接SQL Server配置指引

喜夏-厌秋 提交于 2020-11-28 04:20:41
Django连接SQL Server配置指引 1. 前言 Django只内置了几个 Database Backend(mysql、oracle、sqllite3(默认)、postgresql_psycopg2),所以原生并不支持Microsoft SQL Server。 好在有前人的尝试,以及官方文档的介绍,终于使用django-pyodbc搞定了。 先讲我本地的配置环境: 1. win7、win8 2. Python2.7 3. Django1.7.1 2. 下载 需要下载的内容包括: 1. django-mssql 1.6.1 (django-sqlserver 1.7的依赖之一) 2. pypiwin32 219 (django-sqlserver的依赖之一) 3. django-pytds (django-sqlserver的依赖之一) 4. django-sqlserver 1.7 5. pyodbc 3.0.10 (内含多个版本,请注意) 6. django-pyodbc 0.2.8 以上6个和本文相关,其余依赖如果没有安装的,请自行安装。 其中第1、4是必须下载的,因为要解压它里面的内容放进项目中使用。 注意:pyodbc、django-pyodbc、pypiwin32、django-pytds 这4个其实可以不用上pypi.python.org下载的

给程序员的总结性忠告

落花浮王杯 提交于 2020-11-26 07:15:41
展望未来,总结过去10年的程序员生涯,给程序员小弟弟小妹妹们的一些总结性忠告 走过的路,回忆起来是那么曲折,把自己的一些心得体会分享给程序员兄弟姐妹们,虽然时代在变化,但是很可能你也会走我已经做过的10年的路程,有些心得体会你可以借鉴一下,觉得说得有道理的你就接纳,觉得说得没道理的,你就抛弃,以下是我发自内心的,给大家的忠告,特别是针对那些小弟弟妹妹们。 01. 自己的户口档案、养老保险、医疗保险、住房公积金一定要保管好。 由于程序员行业每年跳槽一次,我不隐瞒大家,我至少换过5个以上的单位,这期间跳来跳去,甚至是城市都换过3个。还好户口没丢掉,其他都已经是乱了,好几个城市里,都有交过三金,甚至是一个程序的2个区里交的都有,那些东西,10年后,会变得很重要。你买房子若有公积金,可以取出来,贷款利率也会比较低一些,有孩子了,还需要上学,生病了还需要医疗保险。 特别是买房子时,你要商业贷款与公积金贷款的利率差别还是很大,有可能会有10万的差距。你平时都注意这些,会给你带来的损失会最小,例如每个月缴纳300元的公积金,公司也缴纳300元,你一个月能存下来600元,一年就是7200元,10年就是72000元。我以前都忽视了这些,到我需要买房子时,公积金里可能只有几千元,10年很快就过去了,结果我没能存下来多少公积金,医疗保险,养老金等更别提了,都已经稀里糊涂了,这些损失10年累加起来

通过sql命令建表 和 主外键约束以及其他约束

你离开我真会死。 提交于 2020-11-26 02:07:10
create table命令 1 create table dept 2 ( dept_id int primary key , 3 dept_name nvarchar ( 100 ) not null , 4 dept_address nvarchar ( 100 ) 5 ) 6 7 creat table emp 8 ( emp_id int constraint pk_emp_id_a primary key , -- 主键约束 9 emp_name nvarchar ( 20 ) not null , 10 emp_sex nchar ( 1 ), 11 dept_id int constraint fk_dept_id_b foreign key references dept(dept_id) -- 外键约束 ) 注意点: 1. 创建表的命令后面是小括号(),而不是{}, 2. 注释用 -- 3. SQL Server里最后一行)的逗号可有可无,但是Oracle数据库不能加逗号,但是建议SQL最后一个字段不要写逗号,方便移植 4. nvarchar表示国际化编码长度可变的字符型变量 5. 变量类型写在变量名后面,跟C语言以及其他语言不同,SQLServer不是C语言写的 6. 主键外键可以命名,不然就是默认的名字 7. 写完后,鼠标左键选中整个代码,分析、执行

mssql sqlserver 使用脚本输出excel文件的方法分享

余生颓废 提交于 2020-11-25 15:34:46
转自: http://www.maomao365.com/?p=6683 摘要: 下文将分享使用sql脚本输出excel的方法 此脚本可以应用于 表或视图生成excel的方法, 若需使用sql脚本输出excel数据,我们可将sql脚本生成视图或临时表, 然后再输出excel ------------------------------------ 输出excel语法简介: exec master..xp_cmdshell 'bcp [数据库名称].[架构名].[表名] out [excel存放位置全路径] -c -q -S"服务器Ip" -U "sql用户名" -P "sql密码"' -- -例1: exec master..xp_cmdshell ' bcp test.dbo.tableName out d:\test.xls -c -q -S"." -U "sa" -P "erp" ' -- -将数据库test中tablName输出值d盘test.xls文件 -- -服务器地址. -- -sql账户sa -- -sql密码erp -- ------------------------------------------ 例2: 根据动态文件名输出excel的方法 declare @name varchar ( 30 ) -- -动态文件名 set @name = ' d:

SQLServer---------使用Excel 往sqlServer数据库中导入数据

那年仲夏 提交于 2020-11-25 15:34:27
1、右击创建好的表选择编辑200行 2、保证Excel的字段顺序与数据中顺序一致 3、选中好了后进行复制 4、打开文本 一个快捷方式 将excel 中的数据 黏贴放到文本中 5、点击sql ,查看字段是否一致 6、复制 黏贴就行 导入后如图 数据也没发生改变 或缺失 也可以把数据库中的数据放到Excel表中 一定要注意通过文本文档进行转化,不然会出现问题,如图 在数据库中复制 直接放到Excel中 时间和性别都发生来改变 在数据库总时间类型是datetime 性别类型是 nchar(10) 来源: oschina 链接: https://my.oschina.net/u/4378826/blog/3413018

ETL之PDI/Kettle培训实战教程-57个案例(数据迁移、抽取同步、转换加载)

断了今生、忘了曾经 提交于 2020-11-25 10:47:54
一、ETL之PDI/Kettle培训实战教程-57个案例(数据迁移、抽取同步、转换加载)视频教程 课程目标: 为满足想学习和掌握ETL数据处理技术学员,风哥特别设计的一套比较系统的PDI(Kettle)数据库迁移同步、数据抽取转换加载培训课程; 本套PDI(Kettle)课程共计13小时,57种实战案例,涉及常用的6种数据库,内容涉及通过PDI(Kettle)实现常用数据库Oracle、MySQL、PostgreSQL、DB2、SQLServer、MongoDB、Excel、TXT等各种数据处理、迁移同步、抽取转换、清洗加载等,适合运维人员/数据库/开发人员用于实际项目工作之中,解决异构数据库之间的数据整合与处理。 课程地址: https://edu.51cto.com/course/25920.html 51CTO学院Oracle/MySQL/DB2数据库学习专用QQ群: 199 479 729、189 07 0296 二、 ETL之PDI/Kettle培训实战教程-57个案例(数据迁移、抽取同步、转换加载) 视频教程 ,风哥视频教程学习大纲 1.ETL与Kettle基础知识 1)ELT数据处理基础知识 2)PDI/Kettle产品介绍 2.Kettle数据处理实战环境准备 3.Kettle安装配置与功能讲解 1)基于Windows平台的Kettle安装配置 2

sqlserver读取excel文件数据到数据库

大憨熊 提交于 2020-11-25 10:43:01
sqlserver读取excel文件数据到数据库 1.sqlserver 读取 excel中的数据 SELECT * FROM OpenDataSource( ‘Microsoft.Jet.OLEDB.4.0’, ‘Data Source=“c:/book1.xls”;User ID=Admin;Password=;Extended properties=Excel 5.0’)…[Sheet1$] 报错信息:无法创建链接服务器“(null)”的 OLE DB 访问接口“Microsoft.Jet.OLEDB.4.0”的 2.下载程序: https://www.microsoft.com/zh-cn/download/details.aspx?id=13255 3.修改,excel文件要和数据库在同一个服务器 INSERT INTO Users(Uid,UName,UPwd) SELECT Uid,UName,UPwd FROM OpenDataSource( ‘Microsoft.ACE.OLEDB.12.0’, ‘Data Source=“c:/book1.xls”;User ID=Admin;Password=;Extended properties=Excel 5.0’)…[Sheet1$] 4.查询数据,完成 select * from Users 来源: oschina

为何SQL Server还原数据库BAK文件失败,错误:The system cannot find the path specified.

北城以北 提交于 2020-11-24 08:46:31
今天发现一个问题,就是公司开发服务器上的SQL Server,还原一个数据库bak文件老是报错,错误如下: TITLE: Microsoft SQL Server Management Studio ------------------------------ Restore of database 'Fraud' failed. (Microsoft.SqlServer.Management.RelationalEngineTasks) ------------------------------ ADDITIONAL INFORMATION: System.Data.SqlClient.SqlError: Directory lookup for the file "C:\Program Files\Microsoft SQL Server\MSSQL12.DA\MSSQL\DATA\Fraud.mdf" failed with the operating system error 3(The system cannot find the path specified.). (Microsoft.SqlServer.SmoExtended) For help, click: http://go.microsoft.com/fwlink?ProdName=Microsoft