curl与wget高级用法

curl(文件传输工具)

常用参数如下:

使用示例:
例1:抓取页面到指定文件,如果有乱码可以使用iconv转码

例2:模拟浏览器头(user-agent)

例3:处理重定向页面

例4:模拟用户登陆,保存cookie信息到cookies.txt文件,再使用cookie登陆

例5:获取HTTP响应头headers

例6:访问HTTP认证页面

例7:通过ftp上传和下载文件

wget(文件下载工具)

常用参数如下:

使用示例:
例1:下载单个文件到当前目录下,也可以-P指定下载目录

例2:对于网络不稳定的用户可以使用-c和–tries参数,保证下载完成

例3:下载大的文件时,我们可以放到后台去下载,这时会生成wget-log文件来保存下载进度

例4:可以利用—spider参数判断网址是否有效

例5:自动从多个链接下载文件

例6:限制下载速度

例7:登陆ftp下载文件