开放源代码

开源百度云分享爬虫项目yunshare最新分享 - 安装篇

妖精的绣舞 提交于 2020-02-07 18:43:16
今天开源了一个百度云网盘爬虫项目,地址是 https://github.com/callmelanmao/yunshare 。 百度云分享爬虫项目 github上有好几个这样的开源项目,但是都只提供了爬虫部分,这个项目在爬虫的基础上还增加了保存数据,建立elasticsearch索引的模块,可以用在实际生产环境中,不过web模块还是需要自己开发 安装 安装node.js和pm2,node用来运行爬虫程序和索引程序,pm2用来管理node任务 安装mysql和mongodb,mysql用来保存爬虫数据,mongodb用来保存最终的百度云分享数据,这些数据是json格式的,用mongodb保存更方便。 git clone https://github.com/callmelanmao/yunshare cnpm i 推荐使用cnpm命令安装npm依赖,最简单的安装方式 $ npm install -g cnpm --registry=https://registry.npm.taobao.org 更多安装cnpm的命令可以去 npm.taobao.org 上面找。 初始化 爬虫数据(主要是url列表)都是保存在mysql数据库的,yunshare使用sequelizejs做orm映射,源文件在 src/models/index.js ,默认的mysql用户名和密码都是root

开源方案搭建可离线的精美矢量切片地图服务-2.PostGIS+GeoServer矢量切片

て烟熏妆下的殇ゞ 提交于 2020-02-07 02:54:22
项目成果展示(所有项目文件都在阿里云的共享云虚拟主机上,访问地图可以会有点慢,请多多包涵)。 01:中国地图: http://test.sharegis.cn/mapbox/html/3china.html 02:德国-德累斯顿市: http://test.sharegis.cn/mapbox/html/6germany.html 1.PostGIS简介 PostGIS 是对象关系型数据库系统PostgreSQL的一个扩展,PostGIS提供如下空间信息服务功能:空间对象、空间索引、空间操作函数和空间操作符。同时,PostGIS遵循OpenGIS的规范。我们项目中主要使用它来保存原始矢量数据。 2.Geoserver简介 GeoServer 是 OpenGIS Web 服务器规范的 J2EE 实现,利用 GeoServer 可以方便的发布地图数据,允许用户对特征数据进行更新、删除、插入操作,通过 GeoServer 可以比较容易的在用户之间迅速共享空间地理信息。我们在GeoServer的基础上添加 vector Tiles 插件进行矢量切片。 3.数据准备 数据一:中国基础地理数据,格式为wgs84的shp数据: https://pan.baidu.com/s/16hN5znypnHR-Qw-BAejOoA 数据二:德国-德累斯顿市详细数据,格式为wgs84的shp数据:

实用的开源百度云分享爬虫项目yunshare - 安装篇

我与影子孤独终老i 提交于 2020-02-05 23:56:54
今天开源了一个百度云网盘爬虫项目,地址是 https://github.com/callmelanmao/yunshare 。 百度云分享爬虫项目 github上有好几个这样的开源项目,但是都只提供了爬虫部分,这个项目在爬虫的基础上还增加了保存数据,建立elasticsearch索引的模块,可以用在实际生产环境中,不过web模块还是需要自己开发 安装 安装node.js和pm2,node用来运行爬虫程序和索引程序,pm2用来管理node任务 安装mysql和mongodb,mysql用来保存爬虫数据,mongodb用来保存最终的百度云分享数据,这些数据是json格式的,用mongodb保存更方便。 git clone https://github.com/callmelanmao/yunshare cnpm i 推荐使用cnpm命令安装npm依赖,最简单的安装方式 $ npm install -g cnpm --registry=https://registry.npm.taobao.org 更多安装cnpm的命令可以去 npm.taobao.org 上面找。 初始化 爬虫数据(主要是url列表)都是保存在mysql数据库的,yunshare使用sequelizejs做orm映射,源文件在 src/models/index.js ,默认的mysql用户名和密码都是root

「newbee-mall新蜂商城开源啦」1000 Star Get !仓库Star数破千!记录一下

|▌冷眼眸甩不掉的悲伤 提交于 2020-02-05 09:19:20
新蜂商城已经开源了 3 个多月左右的时间,在 2019 年的年末,仓库的 Star 数量冲破了 1000,整理本篇文章的时间是 2020 年 1 月 12 日,目前的 Star 数量是 1180 左右,在这里向喜欢这个项目的朋友道个谢,同时也做一个简单的记录,项目的 Star 统计图如下所示: Star破千!做一个简单的记录 我在 2019 年 10 月初把新蜂商城项目第一个版本的所有代码都放到了仓库里,到今天为止差不多是 3 个多月的时间,如下图所示,Star 数量涨的很快,尤其是 12 月份差不多增加了 600 多个 Star 数量。 这个数量也是很出乎我的意料,因为我之前也写过几个开源项目,但是像现在这种场面我是第一次见,没见过什么大场面,大家不要见怪,之前的几个项目也有破千的,不过都没有专门写篇记录文章,因为那几个项目做得比较久,Star 数虽然不少,但是没见过如此疯涨的势头。 在这里也感谢大家的支持和认可,当然,这是大家对新蜂商城这个开源项目的认可,我就不厚着脸皮往自己脸上贴金了,只有真诚的向大家表达一下我的谢意了。 新蜂商城的由来 在 GitHub 上写一些开源项目,这件事情我做了三年了: 从 2017 年的第一个 ssm-demo 开源项目,到今天的 newbee-mall 项目,我也没想到能够一直坚持了下来。 至于为什么会写这个商城项目呢

阿里巴巴集团副总裁贾扬清:开源大数据生态前瞻

会有一股神秘感。 提交于 2020-02-05 02:56:31
简介: 本文整理自开源大数据专场中阿里巴巴集团副总裁,阿里巴巴计算平台事业部总裁贾扬清先生的精彩演讲,将为大家讲述开源大数据与人工智能生态前瞻,分享阿里云对开源的态度,以及对大数据和人工智能的未来规划。 2019阿里云峰会·上海开发者大会于7月24日盛大开幕,本次峰会与未来世界的开发者们分享开源大数据、IT基础设施云化、数据库、云原生、物联网等领域的技术干货,共同探讨前沿科技趋势。本文整理自开源大数据专场中阿里巴巴集团副总裁,阿里巴巴计算平台事业部总裁贾扬清先生的精彩演讲,将为大家讲述开源大数据与人工智能生态前瞻,分享阿里云对开源的态度,以及对大数据和人工智能的未来规划。 专家简介: 贾扬清 ,阿里巴巴集团副总裁,阿里巴巴计算平台事业部总裁。曾任Facebook AI架构部门总监,负责前沿AI平台开发,Facebook各产品部门AI平台的支持以及前沿机器学习系统研究。曾在Google Brain担任研究科学家,致力于深度学习的科研与工程,在深度学习框架领域有很多的贡献和积累。他是Caffe作者,TensorFlow作者之一,Pytorch 1.0的合作领导者和Onnx创始人。 开源大数据专场PPT下载 本文内容整理自演讲视频以及PPT。 一、开源现状 目前为止,AI开源项目的发展可以说已经深入人心。从2013年的Caffe

[转]Google 的开源技术protobuf 简介与例子

前提是你 提交于 2020-02-05 02:10:23
本文来自CSDN博客:http://blog.csdn .NET /program_think/archive/2009/05/31/4229773.aspx 今天来介绍一下“ Protocol Buffers ”(以下简称protobuf)这个玩意儿。本来俺在构思“生产者/消费者模式 ”系列的下一个帖子:关于生产者和消费者之间的数据传输格式。由于里面扯到了protobuf,想想干脆单独开一个帖子算了。   ★protobuf是啥玩意儿?   为了照顾从没听说过的同学,照例先来扫盲一把。   首先,protobuf是一个 开源 项 目(官方站点在“这里 ”),而且是后台很硬的开源项目。网上现有的大部分(至少80%)开源项目,要么是某人单干、要么是几个闲杂人等合伙搞。而protobuf则不然,它是 鼎鼎大名的Google公司开发出来,并且在Google内部久经考验的一个东东。由此可见,它的作者绝非一般闲杂人等可比。   那这个听起来牛X的东东到底有啥用处捏?简单地说,这个东东干的事儿其实和 XML 差不多,也就是把某种 数据结构 的信息,以某种格式保存起来。主要用于数据存储、传输协议格式等场合。有同学可能心理犯嘀咕了:放着好好的XML不用,干嘛重新发明轮子啊?!先别急,后面俺自然会有说道。   话说到了去年(大约是08年7月),Google突然大发慈悲,把这个好东西贡献给了开源社区

开源软件如何赚钱

风流意气都作罢 提交于 2020-02-04 22:34:58
生活在2020年的我们开源软件几乎是触手可及,而且越来越多,甚至有很多耗资巨大的开发项目开源了,或许你很困惑,这些开源项目如何赚钱?如何维持开发成本呢?毕竟开源又不是成仙,饭总是要吃的。带着这个问题,经过对多个开源项目及开源组织的了解,发现开源其实是这么玩的: 1、Red Hat模式:提供企业级开源解决方案收费服务 Red Hat维护的主要产品之一是Linux,20世纪90年代初Linux刚出来,当大家对开源还在犹豫不决时,Red Hat已经将开源Linux的商业化做得风生水起。如今,我们称RedHat为开源商界的大佬毫不为过。其实严格地讲,早期的Red Hat不是开源提供商,然而,他却胜是开源提供商。说他不是开源提供商,是因为很多软件RedHat开发的,他只是把开源软件包装或整合出来。但他却是真正的开源提供商,因为很多开源软件最终经过他的手交付给用户使用,他完成了开源软件交付的最后一步。他向企业提供相对稳定的开源解决方案并获得收入,他针对开源软件出补丁和完善功能并将修改内容合入开源库中再开源。Red Hat于1998年8月11日上市,并成为了华尔街历史上的第8大首日涨幅。2018年10月29日,IBM宣布以340亿美元收购Red Hat。 2、Oracle Java模式:个人免费,商业要么开源要么付费 关于Java收费的言传闹得人心惶惶,让不知情者以为不能用Java写代码了

初学大数据不知从何入手?总结十章大数据学习指南(建议收藏)

醉酒当歌 提交于 2020-02-04 00:24:43
近三年,大数据这个词出现的频次非常高,不仅纳入各大互联网巨头公司的战略规划中,同时也在国家的政府报告中多次提及,大数据已无疑成为当今时代的新宠。大数据给大多数人的感觉是,专业性强,门槛高,完全属于“高大上”的技术。好奇的人或许会通过网络了解一些概念,而有一些人则看到了大数据带来的机遇,投入大数据学习的洪流当中,投身大数据行业为自己带来利益。经历“坎坷”的学习大数据历程后,在求学之路上有哪些具体 容易掉入的“坑”? 让我们一一盘点下。 ​ 1 在这里相信有许多想要学习大数据的同学,大家可以+下大数据学习裙:740041381,即可免费领取套系统的大数据学习教程 我们一起经历的那些坑 大多的初学者在入门初期,基本是在网上各种社区“大海捞针”的到处 知乎、百度: “大数据学习路径是怎么样的?” “学生党,会java,只有一台电脑!!如何学习大数据开发?” “ 语言是学R还是Python?” “我没时间有没钱,自学能学的会吗?” “现在大数据开发挺火的,谁知道大数据开发学习机构哪家靠谱?” “零基础学习大数据,想成为大数据开发工程师,请问该如何入门,有没有推荐网络教程,书籍或者大牛博客?” 自学过程中走过很多弯路,比如环境搭建,总会遇到各种奇葩问题,找不到答案;比如网上扑来各种资料不知道怎么分辨质量,也不知道如何科学利用,很痛苦又很困惑,毫无一点成就感,走了许多冤枉路,踩坑无数…… 第一

开源编辑器

主宰稳场 提交于 2020-02-03 18:05:09
其实编辑器技术虽然有一定的技术门槛,但在业界已发展多年,已经是成熟技术了,也产生了很多优秀的编辑器,它们通常都支持可定制、可扩展,代表性的有: 文本编辑器 CKEditor4 The battle-tested WYSIWYG HTML editor, when you need even more features and legacy compatibility. TinyMCE The world’s most popular JavaScript library for rich text editing. Quill Your powerful, rich text editor. 代码编辑器 ACE Editor Ace is an embeddable code editor written in JavaScript. It matches the features and performance of native editors such as Sublime, Vim and TextMate. CodeMirror It is specialized for editing code, and comes with over 100 language modes and various addons that implement more advanced

开源wujian100-vivado综合

女生的网名这么多〃 提交于 2020-02-03 09:49:14
1、说明 阿里的平头哥在github上开源了riscv项目-wujian100_open。本文是使用vivado对该项目进行综合。 本文介绍方法,没有按开源项目的readme所说的synplify综合网表的方式,而是全程采用vavido新建项目进行的综合。 主要问题是:1、 头文件属性;2、约束;3、其它小问题。 2、过程 工具采用win10下的vavido2018.2;代码采用2019.10.22日晚github上版本。 建立目录workarea(名字任意),目录下:git下载的wujian100_open、syn、sim1目录同级,如下: 在syn下新建xilinx的项目,选择对应器件(fpga目录的tcl文件里器件类型是对的,xdc里的封装说错了。型号应该是:xc7a200tfbg484-2)。 add source,选择目录直接加最简单,加xdc。注意问题:语法有显示错的4个文件,编译项目也会报错。通过vivado的界面,把这几个文件的属性改为verilog head type。按一般设计规范,这几个v文件,应该采用vh后缀。 再次编译,xdc里报错: [Place 30-574] Poor placement for routing between an IO pin and BUFG. If this sub optimal condition is