小型数据工作站 | 管理和维护

a 夏天 提交于 2019-12-02 08:48:46

基本原则:

选择一个可以用十年的系统,不要随意更换系统。系统的软件都不要用最新的,用次新的,就是稳定版!

让系统尽可能简单,不要随意添加无意义的内容。内核和编译器层面的的东西,自己不懂就不要乱动。

 

系统选择:

可以用mac,也可以用Linux,但是绝对不能用windows(在没有server的情况下)

 

工具环境管理:

jupyter

Rstudio

python

R - R本身好装,只是有很多包需要配置好环境才能装上,甚至环境不对永远装不上。

clang

gcc

java

 

数据和代码管理:

系统、数据、代码最好要做到彼此独立。

就数据分析而言,jupyter秒杀其他一切工具。

 

必备工具:

chrome

office套装

iterm2 + 主题

filezilla

sublime

有道

WeChat

artpip

 

选配工具:

slack

parallel

AI

Acrobat

spotify

印象笔记

grammarly

 

专业工具:

cytoscape

 

数据备份工具:

Google drive

Dropbox

Time machine

移动硬盘

 

灵魂拷问

1. 如何防止系统随时间变乱,变得不受控制?

变乱的主要原因就是会手贱,没事就喜欢装新东西上去玩,导致系统变得越来越乱,最终出现问题时无从溯源。

案例:在github上看见一个百度网盘的破解软件,装上后,前期确实能用,后面百度封了bug,最终卸载破解软件时才发现系统里面被修改了,此后系统里就隐藏了一个未知的bug。

教训:不要随便装一些未知软件,真的有可能对系统造成不可逆的伤害。

 

2. 如何防止文件越来越多,最终无法管理?

做科研,数据是不断积累的,结果也在不断积累,如果只是有数据就往里添,有结果就不断积累,那最终肯定会乱到无法管理。

而且多个项目之间的数据可能是交互的,这样就让代码更加难以管理。

策略:多思考,多整理,不常用的文档尽快打包整理,备份到历史库,不要再放在工作目录里

 

 

 

基本的bash配置

常用Linux的一定要设置好bash,可以显著提高效率

复制粘贴的设置,选中复制,双击复制,邮件粘贴。

# 现在默认要用zsh,不想换可以忽略
export BASH_SILENCE_DEPRECATION_WARNING=1
# 在iterm标签显示信息
export PROMPT_COMMAND='echo -ne "\033];${PWD##*/} : macMini\007"'
# PSII
export PS1="\[\033[01;31m\]\u \[\033[00m\]\[\033[01;32m\]\h\[\033[00m\] \[\033[
01;33m\]\t\[\033[00m\] \[\033[01;34m\]\w/ \n\[\033[00m\]$ "
# 
export home="/Users/surgery/Project/HOME/1-projects/1.scRNA-seq/2-smart-seq"
export githome="/Users/surgery/project/HOME"
#export user="/ifs4/BC_RD/USER"
#export app="/share/app"
export script="$githome/myScript/RAW"
export prj="/Users/surgery/Project"

# use bash very frequently
wd="/Users/surgery/project/work_dir"

alias swd='pwd | cat - > $wd'
alias wd='cat $wd'
alias lt='ll -rth'
alias qs='qstat'
alias qsb="echo 'qsub -cwd -l vf=5g -P HUMDnab -q bc.q'"
alias app="ssh software-install"
alias cmd="vi $githome/CommonCMD"
alias qj="qstat -j"
#alias cgs="ssh lizhixin@hpcf.cgs.hku.hk -p 22"
alias cgs="ssh lizhixin@hpcf2.cgs.hku.hk -p 22"
alias gitpush="git add . && git commit -m 'change' && git push"
alias nb="jupyter notebook"

alias cls='tput reset'
alias egrep='egrep -G'
alias fgrep='fgrep -G'
alias grep='grep -G'
alias l.='ls -d .* -G'
alias ll='ls -l -G'
alias ls='ls -G'
alias vi='vim'

  

 

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!