aws

Amazon Kinesis 概念 处理AWS上大量流数据的数据平台 Kinesis Streams 用于搜集数据，Client Library 用于分析后的展示 构建用于处理或分析流数据的自定义应用程序 可以支持从数十万中来源捕获和存储TB级的数据，如网站点击流、财务交易、媒体馈送、IT日志等 使用IAM限制用户和角色对Kinesis的访问，使用角色的临时安全凭证可以提高安全性 Kiesis只能使用SSL加密进行访问 Kinesis组件 Kinesis Data Firehose 加载大量流数据到AWS服务中 数据默认被存储在S3中，从S3还可以再被进一步转存到Redshift 数据也可以被写入到ElaticSearch中，并且同时备份到S3 Kinesis Data Streams: 自定义构建应用程序，实时分析流数据 利用AWS开发工具包，可以实现数据在流中移动时仍然能被处理，从而接近实时 为了接近实时，处理的复杂度通常较轻 创建者 Producer 持续将数据推送进Data Streams 数据在DataStream 由一组组分片（Shards）组成，每个分片就是一条记录，通过不断分片实现几乎无限的扩展能力 使用者 Comsumer 会实时对Data Steams的内容进行处理，并且将结果推送到不同的AWS服务 数据在Stream中是临时的，默认存储24小时

云中树莓派（5）：利用 AWS IoT Greengrass 进行 IoT 边缘计算 云中树莓派（1）：环境准备 云中树莓派（2）：将传感器数据上传到AWS IoT 并利用Kibana进行展示 云中树莓派（3）：通过 AWS IoT 控制树莓派上的Led 云中树莓派（4）：利用声音传感器控制Led灯 云中树莓派（5）：利用 AWS IoT Greengrass 进行 IoT 边缘计算 IoT 的诸多场景中，边缘计算有很多需求。比如，不是每个物联网设备都能连接到互联网，从而连接云上物联网服务。还比如有一些数据安全考虑，不允许将某些数据发到云上。因此，AWS 发布了 Greengrass 服务，用于支持物联网场景中的边缘计算。 1. AWS IoT Greengrass 服务概述 AWS Greengrass 是一种软件，用于将 AWS 云功能扩展到本地设备，使得本地设备可以更靠近信息源来收集和分析数据，同时在本地网络上安全地相互通信。更具体来说，使用 AWS Greengrass 的开发人员可以在云中编写无服务器代码 (AWS Lambda 函数)，然后方便地将其部署到设备以在本地执行应用程序。 在 AWS Greengrass 中，设备可在本地网络上安全地通信并互相交换消息而不必连接到云。 安装： Greengrass 是一个软件，可以安装在多种设备上，比如树莓派、AWS EC2

云中树莓派（3）：通过 AWS IoT 控制树莓派上的 Led 云中树莓派（1）：环境准备 云中树莓派（2）：将传感器数据上传到AWS IoT 并利用Kibana进行展示 云中树莓派（3）：通过 AWS IoT 控制树莓派上的Led 云中树莓派（4）：利用声音传感器控制Led灯 1. Led 连接与测试 在某宝上买了几样配件，包括T型GPIO扩展板、40P排线、亚克力外壳、400孔面包板、若干杜邦线。现在我的树莓派长得这个样子了： 不由得感谢神奇的某宝，这些东西每一样都不超过三四块钱。 1.1 接线 以下几个简单步骤就完成了接线： 将排线一头插在树莓派的40个pin脚上，将另一头插在扩展板上。要注意方向，多试几次。还要注意在树莓派关机时候再插入。 把扩展板插在面包板上。 把Led 的长脚（正极）插在面包板第6行的任何一个孔内（对应GPIO18），将其短脚（负极或接地）插在第7行的任何一个孔内（对应GND）。 简单说下面包板。刚拿到手时还有点不知所措，稍微研究一下后就简单了。面包板为长方形，长边的两边是为了接电源的，每个长边都是联通的；中间区域内，每行内是联通的。 1.2 简单测试 下面的 python 能让led 灯每两秒钟亮一次： import RPi.GPIO as GPIO import time PIN_NO=18 GPIO.setmode(GPIO.BCM) GPIO

解决方法： aws configure 然后输入 ak sk region 即可。 来源： CSDN 作者： Zonson9999 链接： https://blog.csdn.net/wuzhong8809/article/details/103091834

将数据发送到AWS-SQS 然后通过Apache Camel接收SQS消息然后路由分发到不同的子系统中 一、AWS SQS简介 Amazon Simple Queue Service (SQS) 是一项快速可靠、可扩展且完全托管的消息队列服务。SQS 使得云应用程序的组件去耦合大大简化，并且具有较高的成本效益。您可以使用 SQS 来传输任何容量的数据，使用任意的吞吐量，而不会丢失消息或要求其他服务永久可用。 AWS SQS的主要作用是把生产消息的应用程序和消费消息的应用程序解耦，起到中间缓存的作用，避免直接依赖。应用场景如：消息的生产速度大于消息的消费速度；消息的生产者和消息的消费者之间的网络通信不能保证一直非常可靠。 AWS SQS的特性约束： 消息内容不超过256KB。 消息在队列中最多保留14天 不保证消息的顺序，即不保证先进先出。 Apache Camel 简介 camel首先是一个规则引擎。其次才是一个开源项目。 Apache Camel是Apache基金会下的一个开源项目,它是一个基于规则路由和中介引擎，提供企业集成模式的Java对象的实现，通过应用程序接口（或称为陈述式的Java领域特定语言（DSL））来配置路由和中介的规则。领域特定语言意味着Apache Camel支持你在的集成开发工具中使用平常的，类型安全的，可自动补全的Java代码来编写路由规则

title: AWS之Qwiklab1 date: 2018-09-19 17:29:20 subtitle: 实验-Hadoop, IoT, IAM, Key Management Service tags: AWS Analyze Big Data with Hadoop 使用Hadoop分析大数据 知识梳理 1. 定义与作用 Amazon EMR 是一个托管集群平台，可简化在 AWS 上运行大数据框架 (如 Apache Hadoop 和 Apache Spark) 以处理和分析海量数据的操作。借助这些框架和相关的开源项目 (如 Apache Hive 和 Apache Pig)。处理用于分析目的的数据和商业智能工作负载。此外，可以使用 Amazon EMR 转换大量数据和将大量数据移入和移出其他 AWS 数据存储和数据库，如 Amazon Simple Storage Service (Amazon S3) 和 Amazon DynamoDB。 2. 大数据技术概述 随着数据的不断变大，数据的处理就出现了瓶颈：存储容量，读写速率，计算效率等等。为了处理大数据，google打造了三驾马车，MapReduce，BigTable和GFS。世界人民为了抢占一席之地，开源的Hadoop诞生了！ 3. Hadoop概述 Apache

IoT黑板报，阅尽物联网新鲜事！ 关注物联网领域，寻求报道或投稿请邮件联系 jiawd@csdn.net 宕机原因查明：员工“乌龙指”致 AWS 误移除 S3 子系统中的大量站点 @cnBeta 越来越多的互联网站点开始依托于亚马逊 AWS 等云平台，尽管其品牌影响力和可靠性比许多中小型主机托管服务商要高一些，但这并不意味着能够 100% 避免不宕机。 几天前，亚马逊 Web 服务就遭遇了一场部分停摆的尴尬，许多互联网站点都受这波故障的影响而离线。而根据亚马逊刚刚发布的详情报告，事情可能需要归咎于某个员工从 S3 子系统中，向一台远程服务器输入了一个“常规命令”。 不幸的是，员工输入了一个比预想的要大得多的数字。命令影响到了另外两个 S3 子系统上的服务器，而后者分管着全区的存储和元数据 —— 事情就此变得一发而不可收拾。 电动自行车Volta来了 一次充满电可跑六十多公里 @威锋网 近年来，随着网约单车的流行，和全民健身意识的提高，越来越多的群众选择骑行代步。美国自行车公司 Pure Cycles 打造了一款新的电动自行车 Volta ，目前正在通过知名网站 Kickstarter 发售。 Volta 整车重量为 31.75Kg,，基本上车架是一体成型，无需复杂的螺丝安装。Volta 后轮配备有一个小型电动机，给电动机充满电大约需要 2 小时，一次充满电可以跑约 40 英里（约

AWS Relational Database Service (AWS RDS) AWS 支持以下RDS MySQL 5.1, 5.5, 5.6, community Edition with InnoDB engine，Multi-AZ PostgreSQL 9.3, 9.4 9.5，Multi-AZ MariaDB 10.0.17, MySQL 那帮作者做的，Multi-AZ Avamar Aurora，Multi-AZ，兼容MySQL和PostgreSQL，性能是MySQL的5倍，是AWS推荐的数据库 Oracle 11g, 12c，有三个版本，都支持Multi-AZ Standard One，Multi-AZ，Included License，KMS Standard，Multi-AZ，BYOL，KMS Enterprise，Multi-AZ，BYOL，KMS and TDE SQLServer 2008R2, 2012, 2014，有四个版本 Express，不支持Multi-AZ，Included License，KMS Web，不支持Multi-AZ，Included License，KMS Standard，Multi-AZ，KMS Enterprise，Multi-AZ，KMS and TDE Storage Options Magnetic，性能最差，最便宜

AWS Device shadow 是AWS 官方推荐管理控制IOT设备的方式。 Device:aws iot device sdk（nodejs） client端：aws sdk（nodejs） 关于更多AWS IOT内容可参考： https://docs.aws.amazon.com/zh_cn/iot/latest/developerguide/iot-device-shadows.html 如需要了解device端 C语言操作影子可参考后续文章： 1 Device shadow基本概念 1.1 Device shadow控制模型 1.2 AWS IOT设备影子工作原理 1.3 Device shadow一些关键属性 1.4 DeviceShadow提供了三种API 操作 1.5 Deviceshadow底层实现 2 Sample 2.1 device端代码 2.2MQTT client代码 2.3 测试结果 2.3.1device端打印 2.3.2 client端打印 1 Device shadow基本概念 设备的影子是用于存储和检索设备的当前状态信息的 JSON 文档。（存储在AWS IOT cloud内） Device Shadow 服务可以为您连接到 AWS IoT 的每台设备保留一个影子。您可以使用该影子通过 MQTT 或 HTTP 获取和设置设备的状态

1.首先，这个是AWS的开发资源使用文档： AWS开发文档 ， AWS官网 - S3教程 ​​​​​​​ 2.我们可以通过AWS Cli和Java Api来操作AWS 的 S3，AWS Cli安装教程： AWS Cli安装 3.Linux下连接S3前，需要先获取到AWS的IAM的accessKey 和secretKey，那么获取方式是： 服务->安全、身份与合规 分组下的 IAM->用户->安全证书->创建访问密钥 然后， 4.获取到了key之后，以下通过 AmazonS3 来操作S3： 1) 上传文件到S3 public static String uploadToS3(AmazonS3 s3, File tempFile, String remoteFileName, String bucketName) throws IOException { try { //上传文件 s3.putObject(new PutObjectRequest(bucketName, remoteFileName, tempFile).withCannedAcl(CannedAccessControlList.PublicRead)); //获取一个request GeneratePresignedUrlRequest urlRequest = new