aws

AWS C++ S3 SDK PutObjectRequest unable to connect to endpoint

匿名 (未验证) 提交于 2019-12-03 00:59:01
可以将文章内容翻译成中文,广告屏蔽插件可能会导致该功能失效(如失效,请关闭广告屏蔽插件后再试): 问题: In working with the AWS C++ SDK I ran into an issue where trying to execute a PutObjectRequest complains that it is "unable to connect to endpoint" when uploaded more than ~400KB. Aws::Client::ClientConfiguration clientConfig; clientConfig.scheme = Aws::Http::Scheme::HTTPS; clientConfig.region = Aws::Region::US_EAST_1; Aws::S3::S3Client s3Client(clientConfig); Aws::S3::Model::PutObjectRequest putObjectRequest; putObjectRequest.SetBucket("mybucket"); putObjectRequest.SetKey("mykey"); typedef boost::iostreams::basic_array_source<char> Device;

AWS java SDK manually set signature version

匿名 (未验证) 提交于 2019-12-03 00:59:01
可以将文章内容翻译成中文,广告屏蔽插件可能会导致该功能失效(如失效,请关闭广告屏蔽插件后再试): 问题: I'm trying to access a blob store service which is on top of AWS S3. It supports AWS SDK and it's signature version 2. I'm using code here to access the this service. Is it possible to manually set the signature version of the request made by AWS SDK ? According to this page AWS currently supports two signature versions: signature version 2 and signature version 4, which are covered in this section. Most services support version 4, and if a service supports version 4, we strongly recommend that you use that version. I'm unable to find how to

Spark doesn&#039;t read/write information from s3 (ResponseCode=400, ResponseMessage=Bad Request)

匿名 (未验证) 提交于 2019-12-03 00:59:01
可以将文章内容翻译成中文,广告屏蔽插件可能会导致该功能失效(如失效,请关闭广告屏蔽插件后再试): 问题: I implemented spark application. I've created spark context: private JavaSparkContext createJavaSparkContext() { SparkConf conf = new SparkConf(); conf.setAppName("test"); if (conf.get("spark.master", null) == null) { conf.setMaster("local[4]"); } conf.set("fs.s3a.awsAccessKeyId", getCredentialConfig().getS3Key()); conf.set("fs.s3a.awsSecretAccessKey", getCredentialConfig().getS3Secret()); conf.set("fs.s3a.endpoint", getCredentialConfig().getS3Endpoint()); return new JavaSparkContext(conf); } And I try to get data from s3 via spark dataset

How do I translate an AWS S3 url into a bucket name for boto?

匿名 (未验证) 提交于 2019-12-03 00:59:01
可以将文章内容翻译成中文,广告屏蔽插件可能会导致该功能失效(如失效,请关闭广告屏蔽插件后再试): 问题: I'm trying to access the http://s3.amazonaws.com/commoncrawl/parse-output/segment/ bucket with boto. I can't figure out how to translate this into a name for boto.s3.bucket.Bucket(). This is the gist of what I'm going for: s3 = boto.connect_s3() cc = boto.s3.bucket.Bucket(connection=s3, name='commoncrawl/parse-output/segment') requester = {'x-amz-request-payer':'requester'} contents = cc.list(headers=requester) for i,item in enumerate(contents): print item.__repr__() I get "boto.exception.S3ResponseError: S3ResponseError: 400 Bad Request ...

AWS s3 download all file inside a specific folder - Using PHP SDK

匿名 (未验证) 提交于 2019-12-03 00:59:01
可以将文章内容翻译成中文,广告屏蔽插件可能会导致该功能失效(如失效,请关闭广告屏蔽插件后再试): 问题: Can anyone help me for this one..?? I want to download all files from a folder which is inside my bucket's folder, to my computer's directory with the same name. Let's say there is a bucket name "ABC" a folder is there inside it, is "DEF".. In which folder there are multiple files available.. Now I want to download it into my project folder "/opt/lampp/htdocs/porject/files/download/" here "DEF" folder is also available.. So, anyone can help me, and give me the code for this..? Thanks in advance.. ============= ERROR : Fatal error: Uncaught

Logging using Log4J2 on aws lambda - Class not found

匿名 (未验证) 提交于 2019-12-03 00:57:01
可以将文章内容翻译成中文,广告屏蔽插件可能会导致该功能失效(如失效,请关闭广告屏蔽插件后再试): 问题: I am trying to use Log4J2 logging as described here in the AWS docs: https://docs.aws.amazon.com/lambda/latest/dg/java-logging.html#java-wt-logging-using-log4j2.8 <?xml version="1.0" encoding="UTF-8"?> <Configuration packages="com.amazonaws.services.lambda.runtime.log4j2.LambdaAppender"> <Appenders> <Lambda name="Lambda"> <PatternLayout> <pattern>%d{yyyy-MM-dd HH:mm:ss} %X{AWSRequestId} %-5p %c{1}:%L - %m%n</pattern> </PatternLayout> </Lambda> </Appenders> <Loggers> <Root level="debug"> <AppenderRef ref="Lambda" /> </Root> </Loggers> <

[QTV] 实例演示 ― 基于FPGA的AWS F1实例

匿名 (未验证) 提交于 2019-12-03 00:22:01
更多精彩内容,请微信搜索“FPGAer俱乐部”关注我们 在本视频中,我们将通过一个 Step by step 的设计案例,详细向您介绍如何上手开始使用基于赛灵思 UltraScale+ FPGA 的亚马逊(Amazon) EC2 F1 实例开始您的工作。 视频链接 本文转载自赛灵思公众号 ,如 涉 及 侵权,请私信小编删除。 ============ ============ 想加入我们 FPGA学习交流群吗?可以长按或扫描以下二维码,审核通过后我们邀请您加入 这些微信群 旨在打造一个提供给 FPGA工程开发人员及兴趣爱好者(统称“FPGAer”)进行技术交流、答疑解惑和学习的平台。 而且我们也将会通过网络举办 FPGA技术讲座,分享相关研究文献 FPGA “ FPGAer ” 文章来源: [QTV] 实例演示 — 基于FPGA的AWS F1实例

AWS DynamoDB基础使用

匿名 (未验证) 提交于 2019-12-03 00:22:01
因AWS并没有提供mongodb的云服务。所以需要将数据库从mongodb切换到AWS 的dynamodb。 Dynamodb 提供了本地调试版本,本文主要介绍dynamodb本地调试使用。 PS:说句题外话,刚接触感觉很难用,文档感觉已经很久没有维护了。 数据库环境:Linux(Dynamodb环境) server环境:AWS SDK server端语言: nodejs(ubuntu) Amazon DynamoDB是一款完全托管的NoSQL数据库服务,可提供快速,可预测的性能和无缝可扩展性。 DynamoDB 几个概念:tables, items, and attributes。(表,项目和属性) Table是一个item集合, 每个item又是attributes集合。可以对应理解为mongodb中 集合 文档 属性。 例: People表中的某个项目包含名为PersonID,LastName, FirstName等的属性。 DynamoDB不像mongodb默认情况下会生成_id来唯一标识某条数据。所以在DynamoDB中就有了主键的概念。 指定表的主键。主键唯一标识表中的每个项目。(指定某个属性为主键) DynamoDB支持两种不同的主键: 1 分区键 DynamoDB使用分区键的值作为内部散列函数的输入。散列函数的输出确定项目将存储在其中的分区

使用 AWS CloudTrail 记录 IAM 和 AWS STS API 调用

匿名 (未验证) 提交于 2019-12-03 00:13:02
IAM 和 AWS STS 与 AWS CloudTrail 集成,后者是一项服务,它提供 IAM 用户或角色所采取的操作的记录。CloudTrail 将对 IAM 和 AWS STS 的所有 API 调用作为事件捕获,包括来自控制台和 API 调用的调用。如果您创建了跟踪,则可以使 CloudTrail 事件持续传送到 Amazon S3 存储桶。如果您不配置跟踪,则仍可在 CloudTrail 控制台的 Event history (事件历史记录) 中查看最新事件。可使用 CloudTrail 获取有关对 IAM 或 AWS STS 发出的请求的信息。例如,您可以查看发出请求的源 IP 地址、用户、时间以及其他详细信息。 委托人类型 IAM/STS API 调用账户的 CloudTrail 日志中的用户身份 角色所有者账户的 CloudTrail 日志中的用户身份 后续 API 调用角色所有者的 CloudTrail 日志中的用户身份 AWS 账户根用户 凭证 GetSessionToken 根身份 角色所有者账户与调用账户相同 根身份 IAM 用户 GetSessionToken IAM 用户身份 角色所有者账户与调用账户相同 IAM 用户身份 IAM 用户 GetFederationToken IAM 用户身份 角色所有者账户与调用账户相同 IAM 用户身份 IAM 用户

AWS::Lambda::Function

匿名 (未验证) 提交于 2019-12-03 00:13:02
AWS::Lambda::Function 资源创建 Lambda 函数。要创建函数,需要 部署程序包 和 执行角色 。部署程序包中包含您的函数代码。 { "Type" : "AWS::Lambda::Function" , "Properties" : { "Code" : Code , "DeadLetterConfig" : DeadLetterConfig , "Description" : String , "Environment" : Environment , "FunctionName" : String , "Handler" : String , "KmsKeyArn" : String , "Layers" : [ String , ... ], "MemorySize" : Integer , "ReservedConcurrentExecutions" : Integer , "Role" : String , "Runtime" : String , "Tags" : [ Tag , ... ], "Timeout" : Integer , "TracingConfig" : TracingConfig , "VpcConfig" : VpcConfig } } 来源:博客园 作者: Michael云擎 链接:https://www.cnblogs