wget

wget --referer=http://192.168.1.250 --cookies=on --load-cookies=cookie.txt －-keep-session-cookies --save-cookies=cookie.txt http://192.168.1.250/space-1461-do-album-id-109.html
---------------------------------------
 
==============================================================================
 

wget -r -p -np -k http://xxx.com/xxx

-r,  --recursive（递归）          specify recursive download.（指定递归下载）
-k,  --convert-links（转换链接）      make links in downloaded HTML point to local files.（将下载的HTML页面中的链接转换为相对链接即本地链接）
-p,  --page-requisites（页面必需元素）    get all images, etc. needed to display HTML page.（下载所有的图片等页面显示所需的内容）
-np, --no-parent（不追溯至父级）          don't ascend to the parent directory.

另外断点续传用-nc参数 日志 用-o参数


wget -c -t 0 --load-cookies cookies.txt "https://rcstg02.kaust.edu.sa/videos.tar.gz" -O videos.tar.gz

wget --referer=http://www.wwnuai.cn/ --cookies=on --load-cookies=cookie.txt －-keep-session-cookies --save-cookies=cookie.txt -r -p -np -k http://www.wwnuai.cn/
================================================
wget -r -p -np -k -bc  -e robots=off -k -E  --user-agent="Chrome/10.0.648.204"    --no-check-certificate -o abc.wap.log https://m.abc.com/
(得不到ajax)
===========================================================
*****************************************************
wget --referer=http://design.xwyin.cn --cookies=on --load-cookies=cookie.txt －-keep-session-cookies --save-cookies=cookie.txt -r -p -np -k -bc  -e robots=off -k -E  --user-agent="Chrome/10.0.648.204"    --no-check-certificate -o abc.wap.log http://design.xwyin.cn

***************************************************
=======================

# Log in to the server.  This can be done only once.                   
wget --save-cookies cookies.txt \
     --post-data 'user=foo&password=bar' \
     http://server.com/auth.php
 
# Now grab the page or pages we care about.
wget --load-cookies cookies.txt \
     -p http://server.com/interesting/article.php


     ====================================================================
     wget使用 （代理，header，referer 超时限制,次数限制）
2010年02月21日 11:22:00 阅读数：8904 标签： header windows user  更多
个人分类： Linux
wget -Y on -e "http_proxy=http://[User]:[Password]@ProxyServer:Port/"
"http://www.jukuu.com"
-O a.html -t 2 --timeout=40 --header="User-Agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-
CN; rv:1.8.1.16) Gecko/20080702 Firefox/2.0.0.16"
--referer ="http://www.jukuu.com"


============================================================
wget/curl 都支持使用代理

wget -e “http_proxy=10.1.4.43:8080″  proxy.mimvp.com

curl -x 10.1.4.43:8080 proxy.mimvp.com