高速下载 EBI NCBI 测序数据(SRA,Fastq等)
一、测试环境及工具
- Linux(Ubuntu 18.04.1)
- Aspera (Aspera Connect version 3.9.9.177872)
Aspera 适用于所有的 Linux 版本,可以按步骤测试在CentOS,Fedora等其他 Linux 发行版的效果
二、Conda 方式安装 Aspera
conda install -y -c hcc aspera-cli
这里需要安装Conda (这是一款用于安装多数生物信息分析软件的管理软件,重要的是可以解决软件依赖问题) : Conda 安装使用图文详解
三、传统方式安装 Aspera
官网下载:http://downloads.asperasoft.com/en/downloads/8?list
csdn下载: https://download.csdn.net/download/u011262253/10402259
wget 下载:wget https://download.asperasoft.com/download/sw/connect/3.9.9/ibm-aspera-connect-3.9.9.177872-linux-g2.12-64.tar.gz
安装及配置
1. 解压
tar -zxvf ibm-aspera-connect-3.9.9.177872-linux-g2.12-64.tar.gz
2. 安装
./ibm-aspera-connect-3.9.9.177872-linux-g2.12-64.sh
3. 配置许可
sudo cp ~/.aspera/connect/etc/aspera-license /usr/local/bin/
4. 配置程序环境变量
vim ~/.bashrc
在末尾加上你的aspera
所在目录
export PATH="/home/baimoc/.aspera/connect/bin:$PATH"
立马生效
source ~/.bashrc
5. 配置秘钥
新建配置目录
mkdir /home/baimoc/.aspera/config/
复制到配置目录
cp ~/.aspera/connect/etc/asperaweb_id_dsa.openssh /home/baimoc/.aspera/config/
四、测试
1. 一个例子
ascp -QT -L /home/baimoc/logs -l 100M -P33001 -i /home/baimoc/.aspera/config/asperaweb_id_dsa.openssh era-fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/SRR689/SRR689233/SRR689233_1.fastq.gz ./out_path
2. 常用参数介绍
命令 | 含义 |
---|---|
ascp | aspera的可执行文件 |
-QT | 禁用进度显示 |
-L /home/baimoc/logs | 日志文件路径 |
-l 100M | 最大传输 |
-P33001 | SSH传输端口 |
-i /home/baimoc/.aspera/config/asperaweb_id_dsa.openssh | 密钥文件路径 |
era-fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/SRR689/SRR689233/SRR689233_1.fastq.gz | 资源路径 |
./out_path | 文件保存路径 |
3. 下载地址的构建
EBIera-fasp@fasp.sra.ebi.ac.uk:/vol1/ERA012/ERA012008/sff/library08_GJ6U61T06.sff
NCBI:anonftp@ftp-private.ncbi.nlm.nih.gov:/sra/sra-instant/reads/ByRun/sra/SRR/SRR507/SRR5077625/SRR5077625.sra
可以看到最关键的前缀是:era-fasp@fasp.sra.ebi.ac.uk:
或anonftp@ftp-private.ncbi.nlm.nih.gov:
4. EBI查询整个项目的资源文件
https://www.ebi.ac.uk/ena/browser/view/PRJNA189204
6. 查看下载链接
提取对应列,即可下载相应的资源文件
五、为什么这里要建议选EBI,而不用NCBI?
这个是在 NCBI 下载时的链接及提示:
简单来说就是:
- 现在NCBI正在将数据传输至亚马逊云 AWS 和 谷歌云 GS
- 美国境内服务器免费,其他的服务器收费,用户自己掏钱
- 由于正在迁移,所以NCBI也不保证数据的完整性
- 虽然也提供了免费的链接,但是实测速度奇慢无比