开源

在Android中，WakeLock可以让进程持续执行，即使手机关屏、进入睡眠模式。。基于Rexsee的WakeLock扩展可以使用JS实现。。 【函数】 void acquire(boolean onAfterRelease) 【说明】 点亮屏幕直到release()被调用。 【参数】 onAfterRelease：在release()被调用后是否继续点亮至默认的屏幕超时。 【示例】 window.setTimeout('rexseeKeyguard.disable();rexseeWakeLock.acquire(false);alert(\'点亮屏幕！\');',5000); alert('请按电源键关屏，5秒后自动亮屏。'); 【函数】 void release() 【说明】 允许黑屏，如果调用的acquire()函数携带了参数true则仍需等待默认的屏幕超时时间后才会黑屏。 【示例】 rexseeWakeLock.release(); rexseeWakeLock.java源码 /* * Copyright (C) 2011 The Rexsee Open Source Project * * Licensed under the Rexsee License, Version 1.0 (the "License"); * you may not use this

Docker ， 是一个开源的， 基于 LXC 的轻量型容器管理器。 借助 Docker ， 开发人员只需 将应用程序及所依赖的运行环境 打包到一个可移植的容器中， 就可以正常运行， 而不必考虑 语言、框架及底层操作系统的限制。 使用 Docker ， 可以缩短开发时间、 探索时间和部署周期， 从而可以更富有成效地编码， 简化开发环境，消除依赖项冲突等， 并最终提升开发生产力。 然而， Windows 平台使用 Docker 技术时需要额外安装、配置 Docker 工具，这样势必会多花额外的工作时间。并且，如果要在 Dev 环境中配置一套与生产环境一致的构建环境，将会需要不小的 Effort。 对于团队协作环境来说，与其每个 Developer 单独搭建 Docker 环境，不如搭建一套与生产环境一致的 Central Docker Engine 环境，既方便维护，也能保证 Developer 生成的 Docker Image 与生产环境生成的 Docker 镜像一致。 Gradle是一个非常好的选择，使用它进行构建可以在开发场景中加快开发搭建和显著提高开发效率。使用 Gradle 脚本，能够高效、便捷的管理项目中的差异、依赖和编译、打包、部署等过程。 今天，我们就来重点学习 Gradle 的具体使用方法以及如何使用 Gradle 创建 Docker Image

这是一个真实的小故事。 虽然有人生来就懂得这个道理，也有人写一辈子代码也未必会明白，但是我相信更多的人要用整个职业生涯去体会这里的精髓。 故事概要 一个小程序猿（代号小Y）闲来无事，决定探索一个陌生的开源消息组件[ZeroMQ]( http://www.jianshu.com/collection/4bc170355af0 )，以图未来有一天可以为改变世界做出贡献，可是他遇到了一个installing的问题——所有问题中最低级的那种。 confiure failed ! make failed ! Fuck ! Search & Open Issue Baidu.com >> Google >> issues (正确的姿势应该反过来！) 常规首发看起来，没什么收获，万般无奈之下，小Y操着瘪犊子英文勇敢地open 了一个 Issue 。 Disscution configure log make log balala balala **其实此刻小Y是不抱什么希望的。 **I can’t believe ! 地球另一头,正在喝着咖啡的同行居然回复了: Does the same problem happen with libzmq master from this repository? I've got no way to test it, but in theory at

在4月21日的Qcon全球开发大会上，阿里巴巴资深总监、淘宝移动平台、阿里百川负责人庄卓然宣布了两条重磅消息。一是移动开发技术方案Weex开始内测，并将于6月份全面开源；二是阿里百川和极客邦达成战略合作，以期共同打造移动开发者生态。 毫无疑问，对于移动开发者来说，这两则消息都是巨大的福利。Weex是什么？为什么要开源？阿里百川又是要做什么？在随后的演讲中，庄卓然给出了非常清晰的答案。 Weex即时内测，6月开源 众所周知，移动端的开发所面临的复杂程度远超以往。例如，分别在iOS和安卓上开发一个H5的APP，需要兼容不同厂商的标准，以达到相对完美的适配，毕竟很多手机厂商都有自己定制UI的ROM。 庄卓然给出了一个公式，移动开发的复杂度=应用数量×平台数量×要适配的各种各样的机型。在过去的时间里，手机淘宝还在多个方面进行了尝试，如动态发布以及增量更新等等。 事实上，手淘具备相当丰富的场景，而APP并不是所有的内容都由庄卓然的团队进行开发，比如店铺的装修页，店铺的页面的风格及样式都是由经营者决定，手淘技术团队只需开发并提供相应的工具。 在去年的双11大促中，手淘需要为iOS、安卓、H5甚至是Windows系统用户提供不同的体验。因此，庄卓然和他的团队一直在思考，为什么通过一种标准的方式去书写代码，以获得如丝般顺滑的Native体验？ Weex应运而生。 对于Weex，庄卓然是这样形容的，

本文一共分为上下两部分。我们将针对大数据开源工具不同的用处来进行分类，并且附上了官网和部分下载链接，希望能给做大数据的朋友做个参考。下面是第一部分。 查询引擎 一、Phoenix 贡献者：： Salesforce 简介：这是一个Java中间层，可以让开发者在Apache HBase上执行SQL查询。Phoenix完全使用Java编写，代码位于 GitHub 上，并且提供了一个客户端可嵌入的JDBC驱动。 Phoenix查询引擎会将SQL查询转换为一个或多个HBase scan，并编排执行以生成标准的JDBC结果集。直接使用HBase API、协同处理器与自定义过滤器，对于简单查询来说，其性能量级是毫秒，对于百万级别的行数来说，其性能量级是秒。 Phoenix 最值得关注的一些特性有： ❶嵌入式的JDBC驱动，实现了大部分的java.sql接口，包括元数据API ❷可以通过多部行键或是键/值单元对列进行建模 ❸完善的查询支持，可以使用多个谓词以及优化的扫描键 ❹DDL支持：通过CREATE TABLE、DROP TABLE及ALTER TABLE来添加/删除列 ❺版本化的模式仓库：当写入数据时，快照查询会使用恰当的模式 ❻DML支持：用于逐行插入的UPSERT VALUES、用于相同或不同表之间大量数据传输的UPSERT ❼SELECT、用于删除行的DELETE

作者：大数据女神-诺蓝（微信公号：dashujunvshen）。本文是36大数据专稿，转载必须标明来源36大数据。 接上一部分： 一共81个，开源大数据处理工具汇总（上） ，第二部分主要收集整理的内容主要有日志收集系统、消息系统、分布式服务、集群管理、RPC、基础设施、搜索引擎、Iaas和监控管理等大数据开源工具。 日志收集系统 一、Facebook Scribe 贡献者 ：Facebook 简介 ：Scribe是Facebook开源的日志收集系统，在Facebook内部已经得到大量的应用。它能够 从各种日志源上收集日志，存储到一个中央存储系统（可以是NFS，分布式文件系统等）上，以便于进行集中统计分析处理。它为日志的“分布式收集，统一处 理”提供了一个可扩展的，高容错的方案。当中央存储系统的网络或者机器出现故障时，scribe会将日志转存到本地或者另一个位置，当中央存储系统恢复 后，scribe会将转存的日志重新传输给中央存储系统。其通常与Hadoop结合使用，scribe用于向HDFS中push日志，而Hadoop通过 MapReduce作业进行定期处理。 Scribe的系统架构 代码托管 ： https://github.com/facebook/scribe 二、Cloudera Flume 贡献者 ： Cloudera 简介：

上一部分： http://my.oschina.net/u/2391658/blog/711016 第二部分主要收集整理的内容主要有日志收集系统、消息系统、分布式服务、集群管理、RPC、基础设施、搜索引擎、Iaas和监控管理等大数据开源工具。 日志收集系统 一、Facebook Scribe 贡献者 ：Facebook 简介 ：Scribe是Facebook开源的日志收集系统，在Facebook内部已经得到大量的应用。它能够从各种日志源上收集日志，存储到一个中央存储系统（可以是NFS，分布式文件系统等）上，以便于进行集中统计分析处理。它为日志的“分布式收集，统一处理”提供了一个可扩展的，高容错的方案。当中央存储系统的网络或者机器出现故障时，scribe会将日志转存到本地或者另一个位置，当中央存储系统恢复后，scribe会将转存的日志重新传输给中央存储系统。其通常与Hadoop结合使用，scribe用于向HDFS中push日志，而Hadoop通过MapReduce作业进行定期处理。 Scribe的系统架构 代码托管 ： https://github.com/facebook/scribe 二、Cloudera Flume 贡献者 ： Cloudera 简介： Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统

什么是 Openbiz Openbiz 是一个应用程序框架，其提供了面向对象的基于元数据驱动的平台，使应用程序开发人员可以通过编写尽可能最少的程序代码就可以建立出 Web 应用程序。 Openbiz 框架从 2003 年开始，并不断由社区开发者和用户的反馈改进。它在诸多领域中得到了广泛的应用。 Openbiz 框架的重点在于帮助开发人员更有效的实现应用层逻辑，为了实现这个目标，框架实现了 “ 基于元数据驱动 ” 的核心理念。有了 Openbiz XML 元数据的神奇力量，开发人员可以： · 在数据表与数据对象之间轻松定义映射关系 (ORM) · 定义如何在用户界面上展示数据 · 定义对象的行为和对象间的映射关系 · 描述数据的增删读改（ CRUD ）操作，数据查询，数据有效性校验，模板，访问控制，高级缓存，甚至导航流及多数据库操作等 · 定义自动以对象货服务的装载位置 在一个典型的 Openbiz 应用程序中，有大约 80% 比例是由 Openbiz XML 元数据实现的描述代码，及通常少于 20% 的程序代码。 除了以元数据为核心， Openbiz 还是一个全面面向对象的多层框架系统。它同时采用了许多高级 Web 技术，例如 MVC ， AJAX 等，及业界先进的开源类库，例如 Zend 框架和 Smarty 模板引擎。 Openbiz 框架是基于 BSD 许可协议发布

一个关于Kafka的监控测试框架 原文请查阅 链接 。 Apache Kafka 已经成为了一个面向大规模流数据的，标准的消息系统。在Linkedin这样的公司， 它被用作各类数据管道的主力，支持一系列关键服务。它已经成为确保企业基础架构健壮、容错和高性能的核心组件。 在过去， Kafka 网站高可用工程师 （SRE）必须依赖Kafka服务器的报告来度量、监控一个Kafka集群 （例如，访问流量，离线分区计数，under-replicated分区计数，等等）。如果任何一个指标不可用，或者任何指标的值是异常的， 都有可能是某些方面出错了，SRE则 需要介入问题排查。然而，从一个Kafka集群获得这些指标并不像听起来那么容易—无论集群是否可用， 一个很低的流入流出值并不没有必要告诉我们，也不能为最终用户提供一个基于可用性经验的、细粒度的参考结果 （比如说，在这个事件中描述道：只是一个分区的子集异常了）。随着我们的集群增长得愈加庞大，为越来越多的重要业务提供服务， 可靠、精确地度量Kafka集群可用性的能力，也就变得越来越重要。 为了监控可用性，有必要主干的稳定性，从功能上或性能方面尽可能早的捕获可回溯的信息。 Apache Kafka 在虚拟机中包含一系列单元测试和系统测试方法，用于检测错误。 到目前为止，我们仍然能发现一些偶发错误

Larbin 开发语言：C++ http://larbin.sourceforge.net/index-eng.html larbin是个基于C++的web爬虫工具，拥有易于操作的界面，不过只能跑在LINUX下，在一台普通PC下larbin每天可以爬5百万个页面(当然啦，需要拥有良好的网络) 简介 Larbin是一种开源的网络爬虫/网络蜘蛛，由法国的年轻人 Sébastien Ailleret独立开发。larbin目的是能够跟踪页面的url进行扩展的抓取，最后为搜索引擎提供广泛的数据来源。 Larbin只是一个爬虫，也就是说larbin只抓取网页，至于如何parse的事情则由用户自己完成。另外，如何存储到数据库以及建立索引的事情 larbin也不提供。 Latbin最初的设计也是依据设计简单但是高度可配置性的原则，因此我们可以看到，一个简单的larbin的爬虫可以每天获取５００万的网页，非常高效。 功能 1. larbin 获取单个、确定网站的所有联结，甚至可以镜像一个网站。 2. larbin建立 url 列表群，例如针对所有的网页进行 url retrive后，进行xml的联结的获取。或者是 mp3 。 3. larbin 定制后可以作为搜索引擎的信息的来源（例如可以将抓取下来的网页每2000一组存放在一系列的目录结构里面）。 问题 Labin的主要问题是，：