前段时间对于下载网络资源比较感兴趣,当时写过一个项目:下载器,主要是通过链接,下载网络上的一些资源,包括m3u8的视频文件,下载完成后可以将其合并成完整的视频文件
下载器的项目地址为:下载器项目地址
下载器项目中还存在一些问题,主要对于m3u8的视频文件处理最好,提供m3u8文件的地址,下载器可以自动下载所有的视频片段,并且可以将ts片段合并成一个完整的
对于其他的mp4,txt,html,mp3等的下载都要提供精确的资源链接才能完成下载,存在很多问题,所以也没有具体写相应的实现思路
在做下载器项目时,想要通过提供小说的目录网址,通过对网址html元素的解析,实现下载整本小说到本地,这次主要就是写这个方面的思路
前言
通过查询相关资料,网上Hpple框架对于解析html网页的效果较好
所以决定使用Hpple第三方框架解析小说目录地址,将各章节下载到本地
(ps:下载的网址是笔趣阁,下载的小说示例为:《我师兄实在是太稳健了》,只是下载玩玩,没有任何其他用途)
中间遇到了很多问题,基本上都解决了,但是最终下载效果是只能下载10章左右,之后就会报错
503 Service Temporarily Unavailable
这个是因为服务器限制的访问频率,因为下载时访问频率过快导致的,想到的解决办法是下载时经常变换ip,但是目前还没解决
所以,最终的效果(目前)是:只能下载10章左右的内容
下载后的文件在沙盒中的显示为:

注意:只能下载10章左右的内容,503的问题还未能解决,如果有人有比较好的解决思路,欢迎提出
网友评论