aria2

aria2c - Any way to keep only list of failed downloads?

ε祈祈猫儿з 提交于 2021-02-10 17:41:03
问题 I am using aria2c to download a quite large list of urls (~6000) organized in a text file. Based on this gist, I am using the following script to download all the files: #!/bin/bash aria2c -j5 -i list.txt -c --save-session out.txt has_error=`wc -l < out.txt` while [ $has_error -gt 0 ] do echo "still has $has_error errors, rerun aria2 to download ..." aria2c -j5 -i list.txt -c --save-session out.txt has_error=`wc -l < out.txt` sleep 10 done ### PS: one line solution, just loop 1000 times ###

aria2c - Any way to keep only list of failed downloads?

让人想犯罪 __ 提交于 2021-02-10 17:36:06
问题 I am using aria2c to download a quite large list of urls (~6000) organized in a text file. Based on this gist, I am using the following script to download all the files: #!/bin/bash aria2c -j5 -i list.txt -c --save-session out.txt has_error=`wc -l < out.txt` while [ $has_error -gt 0 ] do echo "still has $has_error errors, rerun aria2 to download ..." aria2c -j5 -i list.txt -c --save-session out.txt has_error=`wc -l < out.txt` sleep 10 done ### PS: one line solution, just loop 1000 times ###

超级好用的Mac软件

谁说胖子不能爱 提交于 2021-01-18 14:46:18
研发工具 SourceTree ,git 辅助,由于 git 高级操作命令记不住,就只用借助 UI 了 Paw ,请求模拟,前后端联调时我会用这个先走一遍 Github Desktop ,管理 github 仓库的变更和 PR,代替了 SourceTree 的部分工作,可以方便地把别人的 PR checkout 到本地验证 Gas Mask ,Hosts 管理 ColorSnapper2 ,取色工具 Charles ,抓包用,支持 https Google Chrome + Google Chrome Canary + Firefox + Safari,浏览器,调试用,IE 的测试会借助内网的云测平台 WebStorm VSCode 输出 Ulysses ,笔记工具,从 Bear 和 Notion 切到 Ulysses OmniGraffle + iThoughtsX + iPad 上的 Whiteboard ,分别用于画架构图和和脑图 LICEcap ,GIF 录屏工具 输入 Reeder ,RSS 阅读软件,我的主要信息来源,没有提供 rss 源的我会先在 rsshub.app 上找,再没有就自己写一个 serverless 服务部署在 now 上 Kiwi for Gmail ,Gmail 客户端 效率 Alfred + Powerpack ,应用启动、粘贴板管理

CentOS 7 (Linux) 下载百度网盘大文件

元气小坏坏 提交于 2020-11-18 08:26:44
这个方法不仅适合下载 “百度网盘” 中的文件,还可以下载磁链之类的,总之,就是能够加快下载速度的方法。 (参考了网上的多篇文章,自行实践,成功下载度盘大文件,并且提升了下载速度) 百度网盘 客户端没有 Linux 版本 , Web版无法下载大文件 。 以下使用 **chrome插件 (BaiduExporter.crx) + aria2 ** 的方式解决。 1. 安装chrome插件 (BaiduExporter.crx): 下载地址 : https://github.com/acgotaku/BaiduExporter 点击 Clone or download 按钮下载 zip 文件, 使用 zip 解压命令 : unzip -d /dir BaiduExporter-master.zip # -d 后面是解压到目标目录 在解压后的目录里面,有个.crx 文件,可直接添加到 Chrome。(无法添加扩展时,开启 “专业模式”) 2. 安装 aria2 yum -y install aria2 # root 权限 可能需要 yum -y install epel-release 3. 配置 aria2 mkdir /home/username/.aria2 # 普通用户权限 vim /home/username/.aria2/aria2.conf # 配置文件位置随意 vim

全功能的弹幕播放器-KikoPlay

大城市里の小女人 提交于 2020-11-17 20:13:25
KikoPlay - 开源的全功能弹幕播放器 OpenGL渲染,流畅的弹幕体验 libmpv播放内核,支持多种媒体文件格式,保留mpv灵活的参数设置,支持实时进度条预览 树形播放列表,可随意组织你的番剧 支持所有主流视频网站弹幕搜索下载:AcFun,Bilibili,Tucao,5dm,巴哈姆特,爱奇艺,优酷,腾讯视频,PPTV 灵活的弹幕屏蔽规则设定,支持自动合并相似弹幕、弹幕事件分析标注,提升观看体验 支持批量管理弹幕池,支持弹幕时间轴调整,更好地处理本地视频和网站上的视频时长不一致的情况 资料库可以记录并组织你看过的番剧,同时可以从Bangumi上获取详细信息 局域网服务,你可以通过网页在其他设备上观看,现在还有Android端可供选择 集成aria2下载功能 每日放送功能:可快速浏览新番列表并添加关注 基于Lua脚本的资源搜索功能,你也可以为KikoPlay编写脚本,脚本仓库 支持自动下载,通过设置规则,KikoPlay可自动搜索下载资源 独特的KikoPlay资源代码和弹幕池代码,可直接分享包含弹幕池信息的资源链接 ......... 来源: oschina 链接: https://my.oschina.net/u/4840039/blog/4721362

Otter入门简介

﹥>﹥吖頭↗ 提交于 2020-08-09 11:46:45
一、Otter简介 1.1 otter是什么? otter 译意: 水獭,数据搬运工 语言: 纯java开发 定位: 基于数据库增量日志解析,准实时同步到本机房或异地机房的mysql/oracle数据库. 一个分布式数据库同步系统。Ottter是由阿里开源的一个数据同步产品,它的最初的目的是为了解决跨国异地机房双A架构,两边可写的场景,开发时间从2011年7月份一直持续到现在,目前阿里巴巴B2B内部的本地/异地机房的同步需求基本全上了Otter。Otter基于数据库增量日志解析,支持mysql/oracle数据库进行同步,也有全量同步的,如果我们有全表更新或者想要历史数据的需求怎么办?这就涉及到otter的ziyou门功能。 1.2 otter工作原理 原理描述: 1. 基于Canal开源产品,获取数据库增量日志数据。 什么是Canal, 请 点击 2. 典型管理系统架构,manager(web管理)+node(工作节点) a. manager运行时推送同步配置到node节点 b. node节点将同步状态反馈到manager上 3. 基于zookeeper,解决分布式状态调度的,允许多node节点之间协同工作. 4.db : 数据源以及需要同步到的库 1.3 otter的特性 使用纯JAVA开发,占时资源比较高 基于Canal获取数据库增量日志,Canal是阿里爸爸另外一个开源产品

超简单笔记本改造nas--一个萌新的摸爬滚打

与世无争的帅哥 提交于 2020-08-07 21:05:43
最近好久没更新,你们有没有想我啊(手动滑稽) 咳咳,言归正传,如同标题,最近闲来无事,打算利用家里的闲置笔记本电脑搭建一个nas。 **注意:本文不涉及群晖以及相关专业NAS服务供应商!!!** nas分两种: 如果你是极客派,喜欢装*敲代码以及高度的可定制化,那么linux适合你 如果你追求稳定,习惯一站式解决全部问题,那么windows server 本文选择了较老的电脑,故选择windows server 2016 首先,百度下载windows server 2016 iso,刻录u盘 windows下载Rufus,插入u盘,选择镜像,刻录 重启电脑,选择u盘启动,下面展示虚拟机图像 点现在安装 我没有产品密钥 切记切记!!!!datacenter和standard随便选,一定要带桌面体验!不然你的桌面会变成这个样子,而且没法改: 好选完系统,继续下一步: 接受许可条款,仅安装windows,继续: 自定义 选择磁盘,下一步 开始安装,静静等待 设置密码,注意⚠️,一定符合高强度!大写字母,小写字母,数字,符号,至少满足三个条件 成功进入系统。 进入桌面,点击添加角色和功能: 一路下一步,一直到功能,选择下图所示功能,下一步; 点击安装,windows server 2016基本部署结束。 以下是软件集成: 远程控制A (远程桌面方式):Microsoft Remote

五种百度云盘下载速度慢解决方法

大憨熊 提交于 2020-08-07 13:08:20
我们chrome插件网在之前有介绍过一篇文章: 还在为百度网盘下载速度太慢烦恼?chrome浏览器插件帮你解决 !里面有介绍过一些百度云盘下载工具和 chrome插件 解决百度云盘下载限速的问题。时间久了有些方法并不好用啦,今天我们重新整理了五种百度云盘下载速度慢解决方法。希望可以帮助到大家。 原文地址: http://chromecj.com/utilities/2018-09/1513.html 360网盘关闭后,百度似乎要成为国内网盘的唯一选择,百度网盘已然成为分享型网盘中一家独大的“大佬”了,然而百度云下载速度太慢,显然是被限速了。今天我们chrome插件网就整理了下面有5个方法用于百度网盘加速下载,演示的下载文件是大于1G的一个 War3.zip 单文件(用拖拽的方法打开,否则显示页面不存在),使用的宽带是电信20M,百度限速后的下载速度只有256KB/s,而理论上的下载速度是可以达到2M/s的。我们也将持续关注百度网盘限速的问题。 方法1. 百度网盘下载助手脚本 — 2018-04-15更新【最长久】 最早是网友“有一份田”制作的脚本百度下载助手,可以显示直链,绕过大文件云盘下载,还可以调用迅雷或者 IDM 加速下载。 使用方法: 1、安装浏览器扩展程序: chrome浏览器 可以安装: Violentmonkey 或者 Tampermonkey

Arabic characters and UTF-8 in aria2

早过忘川 提交于 2020-05-30 08:42:49
问题 I use aria2 to have download with XML_RPC and when i want to have a download like this in php : $client->aria2_addUri( array($url), array("dir"=>'/home/amir/دانلود') ); it will create a folder named شسÛب instead of دانلود. i post a related post in aria2 forums. and they said aria2 has not problem if that string sent to aria2 with utf-8. so, i used utf-8 header and convert the string to utf-8, but it's not works : header('Content-type:application/json; charset=utf-8'); $dir_on_server = mb

利用Aria2构造自己的下载工具(一)

放肆的年华 提交于 2020-05-04 10:46:44
Aria2 是一款轻量级的跨平台的多线程下载工具,支持 Http/Https、Ftp、BitTorrent、Metalink 等主流协议,功能非常全面。和IDM或EagleGet这些下载工具相比,aria2是一款纯命令行工具,没有图形界面,但可以通过rpc的方式提供交互式下载,这个是它的一个缺点,同时也是它的一个优点。它没有图形界面,使得可以在远程服务器、路由器、nas等平台上运行它,通过rpc交互的方式,实现离线下载。 虽然上现在已经有webui-aria2, 以及 yaaw等一些第三方的比较成熟的界面工具。但了解一下其交互协议,实现一个更加灵活,更适合自己的功能强大的下载工具,对于程序员来说,还是一个比较指的折腾的的事情。 配置Aria2 在启动Aria2前,我们需要进行一些参数的配置,这些配置有两种方式,通过命令行或配置文件。当默认的配置较多的时候,通过命令行的方式显得冗繁和不直观,我们一般是通过配置文件的方式,这里是一个配置文件示例: # # '#'开头为注释内容, 选项都有相应的注释说明, 根据需要修改 ## # # 被注释的选项填写的是默认值, 建议在需要修改时再取消注释 ## # # 文件保存相关 ## # 文件的保存路径(可使用绝对路径或相对路径), 默认: 当前启动位置 dir= R:\Downloads # 启用磁盘缓存, 0为禁用缓存, 需1.16以上版本,