Go Web编程--深入学习解析HTTP请求

之前这个系列的文章一直在讲用Go语言怎么编写HTTP服务器来提供服务，如何给服务器配置路由来匹配请求到对应的处理程序，如何添加中间件把一些通用的处理任务从具体的Handler中解耦出来，以及如何更规范地在项目中应用数据库。不过一直漏掉了一个环节是服务器接收到请求后如何解析请求拿到想要的数据，Go语言使用net/http包中的Request结构体对象来表示HTTP请求，通过Request结构对象上定义的方法和数据字段，应用程序能够便捷地访问和设置HTTP请求中的数据。

一般服务端解析请求的需求有如下几种

HTTP请求头中的字段值
URL 查询字符串中的字段值
请求体中的Form表单数据
请求体中的JSON格式数据
读取客户端的上传的文件

今天这篇文章我们就按照这几种常见的服务端对HTTP请求的操作来说一下服务器应用程序如何通过Request对象解析请求头和请求体。

Request 结构定义

在说具体操作的使用方法之前我们先来看看net/http包中Request结构体的定义，了解一下Request拥有什么样的数据结构。Request结构在源码中的定义如下。

type Request struct {

    Method string

    URL *url.URL

    Proto      string // "HTTP/1.0"
    ProtoMajor int    // 1
    ProtoMinor int    // 0

    Header Header

    Body io.ReadCloser

    GetBody func() (io.ReadCloser, error)

    ContentLength int64
    
    TransferEncoding []string

    Close bool

    Host string

    Form url.Values

    PostForm url.Values

    MultipartForm *multipart.Form

    Trailer Header

    RemoteAddr string

    RequestURI string

    TLS *tls.ConnectionState

    Cancel <-chan struct{}
    
    Response *Response

    ctx context.Context
}

我们快速地了解一下每个字段大致的含义，了解了每个字段的含义在不同的应用场景下需要读取访问HTTP请求的不同部分时就能够有的放矢了。

Method

指定HTTP方法（GET，POST，PUT等）。

URL

URL指定要请求的URI（对于服务器请求）或要访问的URL（用于客户请求）。它是一个表示URL的类型url.URL的指针，url.URL的结构定义如下：

type URL struct {
    Scheme     string
    Opaque     string
    User       *Useri
    Host       string
    Path       string
    RawPath    string
    ForceQuery bool  
    RawQuery   string
    Fragment   string
}

Proto

Proto，ProtoMajor，ProtoMinor三个字段表示传入服务器请求的协议版本。对于客户请求，这些字段将被忽略。 HTTP客户端代码始终使用HTTP / 1.1或HTTP / 2。

Header

Header包含服务端收到或者由客户端发送的HTTP请求头，该字段是一个http.Header类型的指针，http.Header类型的声明如下：

type Header map[string][]string

是map[string][]string类型的别名，http.Header类型实现了GET，SET，Add等方法用于存取请求头。如果服务端收到带有如下请求头的请求：

Host: example.com
accept-encoding: gzip, deflate
Accept-Language: en-us
fOO: Bar
foo: two

那么Header的值为：

Header = map[string][]string{
    "Accept-Encoding": {"gzip, deflate"},
    "Accept-Language": {"en-us"},
    "Foo": {"Bar", "two"},
}

对于传入的请求，Host标头被提升为Request.Host字段，并将其从Header对象中删除。HTTP 定义头部的名称是不区分大小写的。Go使用CanonicalHeaderKey实现的请求解析器使得请求头名称第一个字母以及跟随在短横线后的第一个字母大写其他都为小写形式，比如：Content-Length。对于客户端请求，某些标头，例如Content-Length和Connection会在需要时自动写入，并且标头中的值可能会被忽略。

Body

这个字段的类型是io.ReadCloser，Body是请求的主体。对于客户端发出的请求，nil主体表示该请求没有Body，例如GET请求。 HTTP客户端的传输会负责调用Close方法。对于服务器接收的请求，请求主体始终为非nil，但如果请求没有主体，则将立即返回EOF。服务器将自动关闭请求主体。服务器端的处理程序不需要关心此操作。

GetBody

客户端使用的方法的类型，其声明为：

GetBody func() (io.ReadCloser, error)

ContentLength

ContentLength记录请求关联内容的长度。值-1表示长度未知。值>=0表示从Body 中读取到的字节数。对于客户请求，值为0且非nil的Body也会被视为长度未知。

TransferEncoding

TransferEncoding为字符串切片，其中会列出从最外层到最内层的传输编码，TransferEncoding通常可以忽略；在发送和接收请求时，分块编码会在需要时自动被添加或者删除。

Close

Close表示在服务端回复请求或者客户端读取到响应后是否要关闭连接。对于服务器请求，HTTP服务器会自动处理
并且处理程序不需要此字段。对于客户请求，设置此字段为true可防止重复使用到相同主机的请求之间的TCP连接，就像已设置Transport.DisableKeepAlives一样。

Host

对于服务器请求，Host指定URL所在的主机，为防止DNS重新绑定攻击，服务器处理程序应验证Host标头具有的值。
http库中的ServeMux（复用器）支持注册到特定Host的模式，从而保护其注册的处理程序。对于客户端请求，Host可以用来选择性地覆盖请求头中的Host，如果不设置，Request.Write使用URL.Host来设置请求头中的Host。

Form

Form包含已解析的表单数据，包括URL字段的查询参数以及PATCH，POST或PUT表单数据。此字段仅在调用Request.ParseForm之后可用。HTTP客户端会忽略Form并改用Body。Form字段的类型是url.Values类型的指针。url.Values类型的声明如下：

type Values map[string][]string

也是map[string][]string类型的别名。url.Values类型实现了GET，SET，Add，Del等方法用于存取表单数据。

PostForm

PostForm类型与Form字段一样，包含来自PATCH，POST的已解析表单数据或PUT主体参数。此字段仅在调用ParseForm之后可用。HTTP客户端会忽略PostForm并改用Body。

MultipartForm

MultipartForm是已解析的多部分表单数据，包括文件上传。仅在调用Request.ParseMultipartForm之后，此字段才可用。HTTP客户端会忽略MultipartForm并改用Body。该字段的类型是*multipart.Form。

RemoteAddr

RemoteAddr允许HTTP服务器和其他软件记录发送请求的网络地址，通常用于记录。 net/http包中的HTTP服务器在调用处理程序之前将RemoteAddr设置为“ IP：端口”， HTTP客户端会忽略此字段。

RequestURI

RequestURI是未修改的request-target客户端发送的请求行（RFC 7230，第3.1.1节）。在服务器端，通常应改用URL字段。在HTTP客户端请求中设置此字段是错误的。

Response

Response字段类型为*Response，它指定了导致此请求被创建的重定向响应，此字段仅在客户端发生重定向时被填充。

ctx

ctx 是客户端上下文或服务器上下文。它应该只通过使用WithContext复制整个Request进行修改。这个字段未导出以防止人们错误使用Context并更改同一请求的调用方所拥有的上下文。

读取请求头

上面分析了Go将HTTP请求头存储在Request结构体对象的Header字段里，Header字段实质上是一个Map，请求头的名称为Mapkey，Map Value的类型为字符串切片，有的请求头像Accept会有多个值，在切片中就对应多个元素。

Header类型的Get方法可以获取请求头的第一个值，

func exampleHandler(w http.ResponseWriter, r *http.Request) {
    ua := r.Header.Get("User-Agent")
    ...
}

或者是获取值时直接通过key获取对应的切片值就好，比如将上面的改为：

ua := r.Header["User-Agent"]

下面我们写个遍历请求头信息的示例程序，同时也会通上面介绍的Request结构中定义的Method，URL，Host，RemoteAddr等字段把请求的通用信息打印出来。在我们一直使用的http_demo项目中增加一个DisplayHeadersHandler，其源码如下：

package handler

import (
    "fmt"
    "net/http"
)

func DisplayHeadersHandler(w http.ResponseWriter, r *http.Request) {
    fmt.Fprintf(w, "Method: %s URL: %s Protocol: %s \n", r.Method, r.URL, r.Proto)
    // 遍历所有请求头
    for k, v := range r.Header {
        fmt.Fprintf(w, "Header field %q, Value %q\n", k, v)
    }

    fmt.Fprintf(w, "Host = %q\n", r.Host)
    fmt.Fprintf(w, "RemoteAddr= %q\n", r.RemoteAddr)
    // 通过 Key 获取指定请求头的值
    fmt.Fprintf(w, "\n\nFinding value of \"Accept\" %q", r.Header["Accept"])
}

将其处理程序绑定到/index/display_headers路由上：

indexRouter.HandleFunc("/display_headers", handler.DisplayHeadersHandler)

然后启动项目，打开浏览器访问:

http://localhost:8000/index/display_headers

可以看到如下输出：

headers

http_demo项目中已经添加了本文中所有示例的源码，关注文末公众号回复gohttp06可以获取源码的下载链接。

获取URL参数值

GET请求中的URL查询字符串中的参数可以通过url.Query()，我们来看一下啊url.Query()函数的源码：

func (u *URL) Query() Values {
    v, _ := ParseQuery(u.RawQuery)
    return v
}

它通过ParseQuery函数解析URL参数然后返回一个url.Values类型的值。url.Values类型上面我们已经介绍过了是map[string][]string类型的别名，实现了GET，SET，Add，Del等方法用于存取数据。

所以我们可以使用r.URL.Query().Get("ParamName")获取参数值，也可以使用r.URL.Query()["ParamName"]。两者的区别是Get只返回切片中的第一个值，如果参数对应多个值时（比如复选框表单那种请求就是一个name对应多个值），记住要使用第二种方式。

我们通过运行一个示例程序display_url_params.go来看一下两种获取URL参数的区别

package handler

import (
"fmt"
"net/http"
)

func DisplayUrlParamsHandler(w http.ResponseWriter, r *http.Request) {
    for k, v := range r.URL.Query() {
        fmt.Fprintf(w, "ParamName %q, Value %q\n", k, v)
        fmt.Fprintf(w, "ParamName %q, Get Value %q\n", k, r.URL.Query().Get(k))
    }
}

将其处理程序绑定到/index/display_url_params路由上：

indexRouter.HandleFunc("/display_url_params", handler.DisplayUrlParamsHandler)

打开浏览器访问

http://localhost:8000/index/display_url_params?a=b&c=d&a=c

浏览器会输出：

ParamName "a", Value ["b" "c"]
ParamName "a", Get Value "b"
ParamName "c", Value ["d"]
ParamName "c", Get Value "d"

我们为参数a传递了两个参数值，可以看到通过url.Query.Get()只能读取到第一个参数值。

获取表单中的参数值

Request结构的Form字段包含已解析的表单数据，包括URL字段的查询参数以及PATCH，POST或PUT表单数据。此字段仅在调用Request.ParseForm之后可用。不过Request对象提供一个FormValue方法来获取指定名称的表单数据，FormValue方法会根据Form字段是否有设置来自动执行ParseForm方法。

func (r *Request) FormValue(key string) string {
   if r.Form == nil {
      r.ParseMultipartForm(defaultMaxMemory)
   }
   if vs := r.Form[key]; len(vs) > 0 {
      return vs[0]
   }
   return ""
}

可以看到FormValue方法也是只返回切片中的第一个值。如果需要获取字段对应的所有值，那么需要通过字段名访问Form字段。如下：

获取表单字段的单个值

r.FormValue(key)

获取表单字段的多个值

r.ParseForm()

r.Form["key"]

下面是我们的示例程序，以及对应的路由：

//handler/display_form_data.go
package handler

import (
    "fmt"
    "net/http"
)

func DisplayFormDataHandler(w http.ResponseWriter, r *http.Request) {
    if err := r.ParseForm(); err != nil {
        panic(err)
    }

    for key, values := range r.Form {
        fmt.Fprintf(w, "Form field %q, Values %q\n", key, values)

        fmt.Fprintf(w, "Form field %q, Value %q\n", key, r.FormValue(key))
    }
}

//router.go
indexRouter.HandleFunc("/display_form_data", handler.DisplayFormDataHandler)

我们在命令行中使用cURL命令发送表单数据到处理程序，看看效果。

curl -X POST -d 'username=James&password=123' \
     http://localhost:8000/index/display_form_data

返回的响应如下：

Form field "username", Values ["James"]
Form field "username", Value "James"
Form field "password", Values ["123"]
Form field "password", Value "123"

获取 Cookie

Request对象专门提供了一个Cookie方法用来访问请求中携带的Cookie数据，方法会返回一个*Cookie类型的值以及error。Cookie类型的定义如下：

type Cookie struct {
   Name  string
   Value string

   Path       string    // optional
   Domain     string    // optional
   Expires    time.Time // optional
   RawExpires string    // for reading cookies only

   MaxAge   int
   Secure   bool
   HttpOnly bool
   SameSite SameSite
   Raw      string
   Unparsed []string 
}

所以要读取请求中指定名称的Cookie值，只需要

cookie, err := r.Cookie(name)
// 错误检查
...
value := cookie.Value

Request.Cookies()方法会返回[]*Cookie切片，其中会包含请求中所有的Cookie

下面的示例程序，会打印请求中所有的Cookie

// handler/read_cookie.go
package handler

import (
    "fmt"
    "net/http"
)

func ReadCookieHandler(w http.ResponseWriter, r *http.Request) {
    for _, cookie := range r.Cookies() {
        fmt.Fprintf(w, "Cookie field %q, Value %q\n", cookie.Name, cookie.Value)
    }
}
//router/router.go
indexRouter.HandleFunc("/read_cookie", handler.ReadCookieHandler)

我们通过cURL在命令行请求http://localhost:8000/index/read_cookie

curl --cookie "USER_TOKEN=Yes" http://localhost:8000/index/read_cookie

执行命令后会返回：

Cookie field "USER_TOKEN", Value "Yes"

解析请求体中的JSON数据

现在前端都倾向于把请求数据以JSON格式放到请求主体中传给服务器，针对这个使用场景，我们需要把请求体作为json.NewDecoder()的输入流，然后将请求体中携带的JSON格式的数据解析到声明的结构体变量中

//handler/parse_json_request
package handler

import (
    "encoding/json"
    "fmt"
    "net/http"
)

type Person struct {
    Name string
    Age  int
}

func DisplayPersonHandler(w http.ResponseWriter, r *http.Request) {
    var p Person

    // 将请求体中的 JSON 数据解析到结构体中
    // 发生错误，返回400 错误码
    err := json.NewDecoder(r.Body).Decode(&p)
    if err != nil {
        http.Error(w, err.Error(), http.StatusBadRequest)
        return
    }
    
    fmt.Fprintf(w, "Person: %+v", p)
}

// router/router.go
indexRouter.HandleFunc("/parse_json_request", handler.ParseJsonRequestHandler)

在命令行里用cURL命令测试我们的程序：

curl -X POST -d '{"name": "James", "age": 18}' \
     -H "Content-Type: application/json" \
     http://localhost:8000/index/parse_json_request

返回响应如下：

Person: {Name:James Age:18}%

读取上传文件

服务器接收客户端上传的文件，使用Request定义的FormFile()方法。该方法会自动调用r.ParseMultipartForm(32 << 20)方法解析请求多部表单中的上传文件，并把文件可读入内存的大小设置为32M（32向左位移20位），如果内存大小需要单独设置，就要在程序里单独调用ParseMultipartForm()方法才行。

func ReceiveFile(w http.ResponseWriter, r *http.Request) {
    r.ParseMultipartForm(32 << 20) 
    var buf bytes.Buffer

    file, header, err := r.FormFile("file")
    if err != nil {
        panic(err)
    }
    defer file.Close()
    name := strings.Split(header.Filename, ".")
    fmt.Printf("File name %s\n", name[0])

    io.Copy(&buf, file)
    contents := buf.String()
    fmt.Println(contents)
    buf.Reset()
    
    return
}

Go语言解析HTTP请求比较常用的方法我们都介绍的差不多了。因为想总结全一点，篇幅还是有点长，不过整体不难懂，而且也可以下载程序中的源码自己运行调试，动手实践一下更有助于理解吸收。HTTP客户端发送请求要设置的内容也只今天讲的Request结构体的字段，Request对象也提供了一些设置相关的方法供开发人员使用，今天就先说这么多了。

关注下方公众号回复gohttp06可以下载文章中项目的源码，赶快下载下来自己试一试吧。

前文回顾

Go Web编程--深入学习解析HTTP请求

Request 结构定义

Method

URL

Proto

Header

Body

GetBody

ContentLength

TransferEncoding

Close

Host

Form

PostForm

MultipartForm

RemoteAddr

RequestURI

Response

ctx

读取请求头

获取URL参数值

获取表单中的参数值

获取 Cookie

解析请求体中的JSON数据

读取上传文件

前文回顾

Kevin

引用和评论

线上Go项目的Docker镜像应该怎么构建？

浏览器性能优化

Go 语言-计算密集型服务性能优化

IO 密集型服务耗时优化

Go 语言 JSON 与 Cache 库调研与选型

告别ELK，APO提供基于ClickHouse开箱即用的高效日志方案——APO 0.6.0发布

Go 语言-内存泄漏排查两例

Go Web编程--深入学习解析HTTP请求

Request 结构定义

Method

URL

Proto

Header

Body

GetBody

ContentLength

TransferEncoding

Close

Host

Form

PostForm

MultipartForm

RemoteAddr

RequestURI

Response

ctx

读取请求头

获取URL参数值

获取表单中的参数值

获取 Cookie

解析请求体中的JSON数据

读取上传文件

前文回顾

Kevin

引用和评论

线上Go项目的Docker镜像应该怎么构建？

浏览器性能优化

Go 语言-计算密集型服务 性能优化

IO 密集型服务 耗时优化

Go 语言 JSON 与 Cache 库 调研与选型

告别ELK，APO提供基于ClickHouse开箱即用的高效日志方案——APO 0.6.0发布

Go 语言-内存泄漏排查两例

Go 语言-计算密集型服务性能优化

IO 密集型服务耗时优化

Go 语言 JSON 与 Cache 库调研与选型