curl命令常用操作

curl是做什么的

curl是利用URL语法在命令行方式下工作的开源文件传输工具,它支持http,https,ftp,ftps,telnet等多种协议。
常用于模拟提交web数据,与网站API交互(POST/GET请求,可以自定义发送header),也可以用于下载(PS:专职下载还是用wget,支持recursive)。

常用操作

GET请求(-G/--get/省略)

curl http://www.xxxx.com/show?userId=111

POST请求

以application/x-www-url-encoded 方式发送数据(-d/--data):

curl -d "username=sunnyxd&password=12345" URL

以multipart/form-data 的方式发送数据(上传文件,-F/--form):

curl -F filename=@/home/sunnyxd/file.tar.gz -F username=sunnyxd URL

设置cookie

使用cookie (-b/--cookie)

curl URL -b "username=sunnyxd;password=12345"

保存cookie (-c/--cookie-jar)

curl -d "username=sunnyxd&password=12345" -c ./cookie.txt URL 操作结束后把cookie写入文件cookie.txt

抓取页面(下载)

抓取页面保存到test.html:

curl -o test.html URL
或者curl URL > test.html

-O 下载特定文件,url需要指定到一个具体的文件
-C - 断点续传,- 自动推断出正确的续传位置,或者直接指定相应的字节偏移
-f 显示抓取错误信息
-x ip:port 使用代理
-s 不显示进度信息
-e/--referer 伪造来源地址
--limit-rate 50k 限制下载速度
--max-filesize bytes 指定可下载的最大文件大小

格式化显示响应信息

-w 一次完整且成功的操作后输出指定格式的内容到标准输出。

查看接口响应时间

curl -o /dev/null -s -w "%{time_connect}:%{time_starttransfer}:%{time_total}\n" URL
第一个字段,是从命令启动到链接上用的时间
第二个字段,是开始传输数据所用的时间
第三个字段,是完成传输所用的时间

查看页面是否可用

curl -o /dev/null -s -w %{http_code} URL

监控接口可用性的一个简单demo:

#!/bin/bash
echo "check result:"
cat monitor_url | while read line
do
status_code=`curl -o /dev/null -s -w %{http_code} $line`
if [ $status_code -eq 200 ]
then
echo ${line}"is ok"
else
echo ${line}"is fail"
fi
done

curl -w详细介绍:http://www.letuknowit.com/post/17.html

设置浏览器代理 (-A/--user-agent)

curl URL -A "Mozilla/5.0

只打印响应头部信息

通过-I或者--head可以只打印出HTTP头部信息:

curl -I URL

用户认证(-u/--user)

用于HTTP或者FTP的认证,可以指定密码,也可以不指定密码在后续操作中输入密码:

curl -u user:pwd URL
curl -u user URL

通用头部信息传递(-H/--header)

curl -H "Host:127.0.0.1" -H "accept-language:zh-cn" URL

自动跳转到新网址

有的网址是自动跳转的。使用-L参数,curl就会跳转到新的网址。

curl -L URL

设置请求超时时间

curl --connect-timeout seconds URL

设置最大传输时间(-m/--max-time)

curl -m seconds URL

参数详细介绍请看这里:http://man.linuxde.net/curl
参考文章:http://blog.csdn.net/xifeijian/article/details/9367339

阅读 6.4k

推荐阅读
web开发
用户专栏

学习、分享web开发相关技术

15 人关注
11 篇文章
专栏主页