解决golang处理http response碰到的问题和需要注意的点

2022-07-26,,,,

在处理http response的时候,偶然发现,body读取之后想再次读取的时候,发现读不到任何东西。

见下方代码:

response, err = ioutil.readall(resp.body)
  if err != nil {
    log.println("ioutil readall failed :", err.error())
    return
  }

之后如果想再次ioutil.readall(resp.body)的时候会发现读到的是空。于是我决定去看一下这个resp.body,发现它是一个io.readcloser接口,包含了reader和closer接口:

type readcloser interface {
  reader
  closer
}

于是我想到了文件,它也实现了io.reader接口,所以用读文件试了下:

func readfile(path string)string{
  fi,err := os.open(path)
  if err != nil{panic(err)}
  defer fi.close()
  byte1,err := ioutil.readall(fi)
  fmt.println(string(byte1))
  byte2,err := ioutil.readall(fi)
  fmt.println(string(byte2))
  return string(fd)
}

发现结果是一致的,fmt.println(string(fd2))打印不出任何结果。

我猜测应该是ioutil.readall()是有记录偏移量,所以会出现第二次读取读不到的情况。

作为client端处理response的时候会碰到这个问题,作为server端要处理request body的时候,一样会遇到此问题,那么该如何解决这个问题呢?

有一个方法是再造一个io.readcloser,如下:

  fi2:= ioutil.nopcloser(bytes.newbuffer(byte1))
  byte3,err := ioutil.readall(fi2)
  fmt.println(string(byte3))

此外,作为client端处理response的时候,有一点要注意的是,body一定要close,否则会造成gc回收不到,继而产生内存泄露。其实在go的官方源码注释中,也明确注明了response body需要调用方进行手动关闭:it is the caller's responsibility to close body.

至于response body为什么需要进行关闭,这篇文章进行了解释:

那么作为client端生成的request body,需不需要手动关闭呢,答案是不需要的,net/http中的func (c *client) do(req *request) (*response, error)会调用close()。

同样的,作为server端接收的request body,也是需要关闭,由server自动进行关闭,the server will close the request body. the servehttp handler does not need to.

补充:golang net/http包之设置 http response 响应头详解

01 设置writeheader的顺序问题

之前遇到个问题,在一段代码中这样设置writeheader,最后在header中取name时怎么也取不到。

w.writeheader(201)

w.header().set("name", "my name is smallsoup")

用 golang 写 http server 时,可以很方便可通过 w.header.set(k, v) 来设置 http response 中 header 的内容。但是需要特别注意的是:某些时候不仅要修改 response的header ,还要修改 response的statuscode。修改response的statuscode 可以通过:w.writeheader(code) 来实现,例如:

w.writeheader(404)

如果这两种修改一起做,就必须让 w.writeheader 在所有的 w.header.set 之后,因为 w.writeheader 后 set header 是无效的。

而且必须是在 w.write([]byte("helloworld")) 之前,否则会报 http: multiple response.writeheader calls 因为其实调用w.write的时候也会调用writeheader()方法,然后将w.wroteheader置为true,再次调writeheader()则会判断wroteheader,如果是true则会报错,而且本次调用不生效。

可以看以下源码说明writeheader必须在write之前调用。

func (w *response) writeheader(code int) {
 if w.conn.hijacked() {
  w.conn.server.logf("http: response.writeheader on hijacked connection")
  return
 }
//第二次writeheader()进来满足if条件就报错直接return
 if w.wroteheader {
  w.conn.server.logf("http: multiple response.writeheader calls")
  return
 }
//第一次write()进来这里会将w.wroteheader置为true
 w.wroteheader = true
 w.status = code
 if w.calledheader && w.cw.header == nil {
  w.cw.header = w.handlerheader.clone()
 }
 if cl := w.handlerheader.get("content-length"); cl != "" {
  v, err := strconv.parseint(cl, 10, 64)
  if err == nil && v >= 0 {
   w.contentlength = v
  } else {
   w.conn.server.logf("http: invalid content-length of %q", cl)
   w.handlerheader.del("content-length")
  }
 }
}

2. go会对header中的key进行规范化处理

go会对header中的key进行规范化处理,所以在获取response的header中的k,v值时一定要小心。

reader.go中非导出方法canonicalmimeheaderkey中有这样一段,会将header的key进行规范化处理。

1)reader.go中定义了istokentable数组,如果key的长度大于127或者包含不在istokentable中的字符,则该key不会被处理。

2)将key的首字母大写,字符 - 后的单词的首字母也大写。

分析如下源码,可以解释对key的大写处理:

for i, c := range a {
  // 规范化:首字母大写
  // - 之后单子的首字母大写
  // 如:(host, user-agent, if-modified-since).
  if upper && 'a' <= c && c <= 'z' {
   //大写转小写
   c -= tolower
  } else if !upper && 'a' <= c && c <= 'z' {
   //小写转大写
   c += tolower
  }
  //重新给key数组赋值
  a[i] = c
  //设置大小写标志位
  upper = c == '-' // for next time
}

正确的调用方式:

服务器:

myserver.go

package main
import (
 "net/http"
)
func main() {
 http.handlefunc("/", func (w http.responsewriter, r *http.request){
  w.header().set("name", "my name is smallsoup")
  w.writeheader(500)
  w.write([]byte("hello world\n"))
 })
 http.listenandserve(":8080", nil)
}

客户端:

myhttp.go:

package main
import (
 "fmt"
 "io/ioutil"
 "net/http"
)
func main() {
 myhttpget()
}
func myhttpget() {
 rsp, err := http.get("http://localhost:8080")
 if err != nil {
  fmt.println("myhttpget error is ", err)
  return
 }
 defer rsp.body.close()
 body, err := ioutil.readall(rsp.body)
 if err != nil {
  fmt.println("myhttpget error is ", err)
  return
 }
 fmt.println("response statuscode is ", rsp.statuscode, 
     "\nhead[name]=", rsp.header["name"], 
      "\nbody is ", string(body))
}

1.运行服务器

go run myserver.go

2.运行客户端

go run myhttp.go

输出如下:statuscode是我们设置的500,name也取到了值。

以上为个人经验,希望能给大家一个参考,也希望大家多多支持。如有错误或未考虑完全的地方,望不吝赐教。

《解决golang处理http response碰到的问题和需要注意的点.doc》

下载本文的Word格式文档,以方便收藏与打印。