如何批量下载文件?
问题:现在有一批需要下载的文件或文档,下载地址可以根据规则生成或者可以利用工具整理成列表,条目可能多达数万条,可以用什么方法批量下载?
延伸问题:
例如“domain/download.php?id=xxx”的地址(x为序列号或字符),如何在下载时命名为可与xxx对应的文件名?
首先想到的方法是:迅雷批量下载。但是迅雷最多支持999个下载链接:
(不知道能不能破解迅雷的这个限制,此方法待深挖)
第二个方法是:利用浏览器保存网页时会自动保存图片、JS、CSS等文件的特性来下载。
但是这个方法需要提前用浏览器打开网页缓存下所有的文件到本地,无法应对大文件,也同样无法应对大批量的文件下载。
(放弃这个方向)
第三个方法:使用Internet Download Manager(简称 IDM)。
一直听说这个软件,今天体验了一次。
除了添加批量任务时数量和迅雷一样有999个文件的限制外,完美解决了重命名文件的问题。
添加批量任务时的速度也比迅雷快乐很多。
待续……