aws

1，aws的EC2实例有根卷与存储卷，而这两种卷的类型可以选择为EC2本地存储还是EBS网络存储 aws根据AMI镜像确定根卷的存储类型，当AMI在主机的本地存储上，那么实例的根卷只能是本地存储，附加的存储卷也只能是EBS网络存储 当AMI在EBS存储上，那么实例的根卷是在EBS存储上，且附加的存储卷是在EBS存储上，但是还可以选择本地存储作为附加存储，这时一般是把实例当成计算优先类型 来源： https://www.cnblogs.com/allmdzz/p/11453435.html

https://docs.aws.amazon.com/zh_cn/amazondynamodb/latest/developerguide/Limits.html 容量单位大小（对于预置表） 一个读取容量单位 = 对大小为 4 KB 的项目每秒执行一次强一致性读取，或每秒执行两次最终一致性读取。 一个写入容量单位 = 对大小为 1 KB 的项目每秒执行一次写入。 事务读取请求需要 2 个读取容量单位才能对大小最多为 4 KB 的项目每秒执行一次读取。 事务写入请求需要 2 个写入容量单位才能对大小最多为 1 KB 的项目每秒执行一次写入。 请求单位大小（对于按需表） 一个读取请求单位 = 对大小最多为 4 KB 的项目执行一次强一致性读取，或执行两次最终一致性读取。 一个写入请求单位 = 对大小最多为 1 KB 的项目执行一次写入。 事务读取请求需要 2 个读取请求单位才能对大小最多为 4 KB 的项目执行一次读取。 事务写入请求需要 2 个写入请求单位才能对大小最多为 1 KB 的项目执行一次写入。 每个账户中表的数量 对于任何 AWS 账户，每个 AWS 区域的初始限制为 256 个表。 要请求提高服务限制，请参阅 https://aws.amazon.com/support 。 每个表的二级索引 您最多可以定义 5 个本地二级索引。 每张表的初始限制为 20 个全局二级索引

背景：为一家大型企业本地化BI系统做上云迁移的总体方案。客户对当前本地的BI系统不满意，希望迁移到AWS云之后，能够重新用Tableau做新的BI报表设计。所以这不是本地系统的平滑迁移，而是需要在云上重建BI系统的优化迁移。因此，主要内容是BI数据的迁移，利用AWS原生服务和生态厂商服务重建数据仓库和BI报表，并保留本地其他业务系统的联系和数据源。 业务需求 客户公司为了匹配整体业务上云策略，计划将当前BI系统迁移至AWS公有云； 当前客户本地BI系统数据包含3种模型 (IMS ,CPA ,Sales)； 当前整体数据架构 GODW(Global Oracle Data Warehouse)分为两步处理，ETL7.1和ETL7.2： ETL7.1：从数据源中提取数据做处理，构建ODS ETL7.2：根据企业定义标准，转换和加载数据到数据仓库 企业当前BI系统 数据仓库: GODW (Global Oracle Data Warehouse) ETL 工具: Informatica PowerCenter 10.1.1 HF2 Report 工具: Tableau 2018.1.4 数据源: FlatFiles and SQL Server 迁移后的解决方案 数据仓库: AWS Redshift and S3 ETL 工具 : Informatica PowerCenter /

您有三个互斥选项，具体取决于您选择如何管理加密密钥： 使用具有 Amazon S3 托管密钥的服务器端加密 (SSE-S3) – 使用 唯一密钥 加密每个对象。作为额外的保护，它将使用 定期轮换的主密钥对密钥本身进行加密 。Amazon S3 服务器端加密使用可用的最强数据块密码之一（即 256 位高级加密标准 ( AES-256 )）来加密您的数据。有关更多信息，请参阅 使用具有 Amazon S3 托管加密密钥的服务器端加密 (SSE-S3) 保护数据 。 使用具有 AWS KMS 托管密钥的服务器端加密 (SSE-KMS) – 与 SSE-S3 类似，但使用此服务有一些额外好处以及一些额外费用。使 用信封密钥 （即， envelope key 保护数据的加密密钥的密钥）需要单独的权限，信封密钥可进一步防止未经授权地访问 Amazon S3 中的对象。SSE-KMS 还提供您的密钥的使用时间和使用者的 审核跟踪 。此外，您可以选择自己创建和管理加密密钥，或使用对您所使用的服务和您的工作区域来说具有唯一性的默认密钥。有关更多信息，请参阅 使用具有 AWS KMS 托管密钥的服务器端加密 (SSE-KMS) 保护数据 。 使用具有客户提供密钥的服务器端加密 (SSE-C) – 您管理加密密钥 ，而 Amazon S3 管理加密（在它对磁盘进行写入时）和解密（在您访问您的对象时）

问题描述 解决方案 一、确认自己的安全组权限 在 RDS 中需要为自己的数据库配置安全组权限，也即 3306 端口需要向 EC 主机开放： 其中，选择类型为 MYSQL/Aurora ，这样可以开启 3306 端口，把来源定义为我的 IP 以及 EC 主机所在安全组。（只需要键入主机名，AWS 可以自动适配） 二、关闭安全增强式 Linux（SELinux） AWS EC 默认开启了 SELinux 是使得 PHP 服务器不能访问外部 MySQL 的元凶。使用 root 用户修改 EC 主机 /etc/selinux/config 文档中： 1 SELinux = disabled 重启 EC 主机，重新开启 httpd 服务即可。 原文链接 大专栏 https://www.dazhuanlan.com/2019/08/15/5d551400cb323/ 来源： https://www.cnblogs.com/chinatrump/p/11416977.html

这一节看看如何通过boto3来管理EC2的快照。在实际生产环境中，豆子使用的是AWS提供的解决方案 EBS Snapshot Scheduler, 直接导入Cloudformation的stack，会自动配置Lambda函数和DynamoDB数据库，然后我们可以通过标签来进行设置。从学习的角度，我们直接来弄一个超简易的版本。我们可以直接写两个Lambda函数，一个进行创建，一个进行删除。 首先，设置一个tag标签 接下来创建Lambda函数 IAM Role的配置如下 { "Version": "2012-10-17", "Statement": [{ "Effect": "Allow", "Action": [ "logs:CreateLogGroup", "logs:CreateLogStream", "logs:PutLogEvents" ], "Resource": "arn:aws:logs:*:*:*" }, { "Effect": "Allow", "Action": [ "ec2:CreateSnapshot", "ec2:CreateTags", "ec2:DeleteSnapshot", "ec2:Describe*", "ec2:ModifySnapshotAttribute", "ec2:ResetSnapshotAttribute" ],

这节来学习一个经典的案例，这个案例我在三个不同的培训视频里面都看见过，不知道最初的原创者是谁 :) 和前面的几个例子比较起来，思路其实是大同小异的，唯一的区别在于两点： 通过S3来触发Lambda 对于AWS默认不包括的Python模块，我们需要手动上传zip文件或者通过S3来导入 这个例子的流程简单的说就是创建2个S3的bucket，在其中一个上传照片，他会自动压缩尺寸并保存在另外一个bucket里面。 下面来看看如何实现。 首先创建2个bucket，一个source， 一个destination 然后创建对应的role 然后创建一个Lambda function，选择上面配置的role 添加一个触发器，这里我们指定S3的source bucket 接下来，是配置对应的函数 import os import tempfile import boto3 from PIL import Image s3 = boto3.client('s3') DEST_BUCKET = os.environ['DEST_BUCKET'] SIZE = 128, 128 def lambda_handler(event, context): for record in event['Records']: source_bucket = record['s3']['bucket']['name']

这两天我都在看如何使用Lambda和Python，但是平常更习惯使用PowerShell来管理各种系统。试试看如何在Lambda里面使用PowerShell吧。 首先在本地计算机上需要安装下面三个模块。 安装PowerShell Core https://github.com/powershell/powershell 安装 the .NET Core Software Development Kit (SDK) https://www.microsoft.com/net/download 安装 AWSLambdaPSCore module Install-Module AWSLambdaPSCore -Scope CurrentUser 安装好了，在Powershell6的控制台 里面执行 New-AWSPowerShellLambda -ScriptName awstag -Template basic 他会自动根据basic的模板创建一个目录，里面用一个空白的ps文件，和一个readme文件。这个空白的ps文件自动加载了powershellcore的模块，如果我们需要添加其他的模块，需要在这里修改。下面是我的一个测试脚本。这个脚本主要的功能是检查tag，确保EC2，Volume和Snapshot都有对应的tag，因为每个月我需要通过tag来显示不同诊所的账单

如今，越来越多的人通过 AWS 来入门云计算。很多初学者都迫切地想要知道如何才能成为一名 Linux 管理员，于是我想通过本文详细介绍一下云计算的相关知识，希望能够借此来解答开发者心中的疑问。本文既包括 AWS 的基础知识，又包括复杂架构的自动化部署这样的高级操作。读者可以根据自己的背景和基础，选择自己感兴趣的部分阅读。 开始之前，我先假设你具备以下能力： 拥有初级或者中级的 Linux 系统管理技能。 至少熟悉一门编程语言或者脚本语言。不必特别精通，但是要有实际的编程经历。 愿意花时间去解决一些复杂的问题。 需要花费一点钱购买 AWS 服务，从而提高自己的技能。 本指南使用须知： 首先，本指南不会一步一步手把手地教你如何操作。 我会循序渐进地引导你。因此，你需要真正理解每一部分，然后再阅读下一部分。 遇到问题时你要善用谷歌搜索、AWS 文档以及 Stack Overflow 网站去寻找答案。 使用最正确的方式，不要只顾图快。当然，先用快速的方法完成，然后再进行重构也未尝不可。 在学习过程中充分理解之后再去服务器上进行实际操作。使用不到 50 美元的 AWS 版本即可完成本指南中的所有工作。重新构建的过程能够帮助你加深理解。 跳过开头先去阅读“成本分析”和“自动化”两部分的内容，阅读其他部分的时候保证这两部分的内容了然于胸。 最后，一定要多动手进行实际操作。此时不做，更待何时。

singer 团队官方处了一个tap-s3-csv 的tap，对于没有使用aws 的人来说并不是很方便了，所以简单修改了 下源码，可以支持通用的s3 csv 文件的处理，同时发布到了官方pip 仓库中，方便大家使用。 以下是简单代码修改部分的说明，以及如何发布pip包 修改说明 主要是关于连接s3 的部分，因为tap-s3-csv 使用的是boto3 我们需要修改的就是关于boto3 连接s3 的部署 添加上 aws_access_key_id , aws_secret_access_key , endpoint_url 关于s3 自定义连接的说明，格式如下： s3_client = boto3.session.Session().client( service_name='s3', aws_access_key_id=aws_access_key_id, aws_secret_access_key=aws_secret_access_key, endpoint_url=endpoint_url, ) 几个需要修改的部分 s3.py get_input_files_for_table 部分，主要是传递参数的 修改如下： def get_input_files_for_table(config, table_spec, modified_since=None): bucket =