版本一：无并行
for i in {1..12}
do
{
echo start `date`
wget ftp://ftp.ncbi.nih.gov/snp/organisms/rice_4530/VCF/vcf_chr_${i}.vcf.gz
echo end `date`
}
done
cat *vcf.gz>rice_4530.vcf.gz
rm vcf_chr*
runtime=673s
版本二：并行
for i in {1..12}
do
{
echo start `date`
wget ftp://ftp.ncbi.nih.gov/snp/organisms/rice_4530/VCF/vcf_chr_${i}.vcf.gz
echo end `date`
} &
done
wait
cat *vcf.gz>rice_4530.vcf.gz
rm vcf_chr*
runtime=191s
并行下载的速度比无并行快3倍左右。
版本一：无并行 runtime=673s 版本二：并行 runtime=191s 并行下载的速度比无并行快3倍左右。
目录 问题描述shell并行化R并行化shell+R双重并行化实现案例 问题描述 在进行宏基因组shotgun数据...
背景 上次提到根据SRA登录号从NCBI下载原始数据，是利用shell脚本下载测序数据，但是经常能碰到一些数据没有...
简介 首先明确，程序在执行的时候是串行执行的，那么在程序执行中往往可以利用并发和并行来优化 那么并发和并行的区别是...
SHELL的并行编程：通过启用多个并行的后台子进程，实现任务的并行处理。 并发编程的模式： 简单模式 批处理模式 ...
shell 多进程并行 https://www.sohu.com/a/161607089_610671
mongodb作为非关系型数据库，存储的数据类JSON数据结构 1. 下载安装 2. 启动服务 3. shell基...
20. 8251A 芯片中实现并行数据转换为串行数据的部件 一、数据传送 并行传送 数据在多条并行 1 位宽的传输...
首先，TensorFlow并行计算分为：模型并行，数据并行。 模型并行:根据不同模型设计不同并行方式，模型不同计算...
为什么要异步加载 浏览器下载除JS外的资源时，会并行下载，以提高性能。但下载JS脚本时，会禁止并行下载（称为脚本阻...
本文标题：shell并行下载数据
本文链接：https://www.haomeiwen.com/subject/dnjfqxtx.html
网友评论