HTTP 协议 - 进阶

用户头像
Jaykey
关注
发布于: 2020 年 08 月 18 日
HTTP协议-进阶

HTTP的实体数据-内容协商



“多用途互联网邮件扩展”(Multipurpose Internet Mail Extensions),简称为 MIME。

Content-Encoding 就少了很多,常用的只有下面三种:
  1. gzip:GNU zip 压缩格式,也是互联网上最流行的压缩格式;

  2. deflate:zlib(deflate)压缩格式,流行程度仅次于 gzip;

  3. br:一种专门为 HTTP 优化的新压缩算法(Brotli)。



Accept <=> Content-Type

Accept 是客户端可接受的MIME type,对应的是响应报文里 Content-Type



Content-type

  1. text:文本格式的可读数据,text/html、text/plain、text/css

  2. image:图像文件,image/gif、image/jpeg、image/png

  3. audio/video:音频和视频数据,audio/mpeg、video/mp4

  4. application:数据格式不固定,必须由上层应用程序来解释。application/json、application/javascript、application/pdf;application/octet-stream即不透明的二进制数据。



Accept-Encoding <=>Content-Encoding



Accept-Encoding: 该字段标记的是客户端支持的压缩格式



Content-Encoding:



  1. gzip:GNU zip 压缩格式,也是互联网上最流行的压缩格式;

  2. deflate:zlib(deflate)压缩格式,流行程度仅次于 gzip;

  3. br:一种专门为 HTTP 优化的新压缩算法(Brotli)。



Accept-Language <=> Content-Language



对应客户端支持的语言和响应的语言类型:



type-subtype:en-US 美式英语、en-GB 英式英语、zh-CN 汉语





1. 数据类型表示实体数据的内容是什么,使用的是 MIME type,相关的头字段是 Accept 和 Content-Type;

2. 数据编码表示实体数据的压缩方式,相关的头字段是 Accept-Encoding 和 Content-Encoding;

3. 语言类型表示实体数据的自然语言,相关的头字段是 Accept-Language 和 Content-Language;

4. 字符集表示实体数据的编码方式,相关的头字段是 Accept-Charset 和 Content-Type;

5. 客户端需要在请求头里使用 Accept 等头字段与服务器进行“内容协商”,要求服务器返回最合适的数据;

6. Accept 等头字段可以用“,”顺序列出多个可能的选项,还可以用“;q=”参数来精确指定权重。




HTTP传输大文件的方法

范围请求

“Transfer-Encoding: chunked”和“Content-Length”这两个字段是互斥的,也就是说响应报文里这两个字段不能同时出现,一个响应报文的传输要么是长度已知,要么是长度未知(chunked),这一点一定要记住。



Transfer-Encoding: chunked 分块传输的编码规则:



  1. 每个分块包含两个部分,长度头和数据块;

  2. 长度头是以 CRLF (回车换行,即\r\n)结尾的一行明文,用16进制数字表示长度;

  3. 数据块紧跟在长度头后,最后也用CRLF结尾,但数据不包含CRLF;

  4. 最后用一个长度为0的块表示结束,即“0\r\n\r\n”




Range <=>Acceot-Range: bytes & Content-Range: bytes 0-31/96



Range:



  • "0-”表示从文档起点到文档终点,相当于“0-99”,即整个文件;

  • “10-”是从第 10 个字节开始到文档末尾,相当于“10-99”;

  • “-1”是文档的最后一个字节,相当于“99-99”;

  • “-10”是从文档末尾倒数10个字节,相当于“90-99”。



服务器对Range的处理



  1. 检查是否合法,是否在文件的范围内,如果越界返回状态码 416,表示“你的范围请求有误,我无法处理,请再检查一下”;

  2. 如果范围正确,服务器返回对应范围内的数据,状态码是 206 Partial Content 表示只是原数据的一部分。

  3. 服务器添加响应头字段 Content-Range,告诉片段的实际偏移量和资源的总大小;



请求:



GET /16-2 HTTP/1.1
Host: www.chrono.com
Range: bytes=0-31



响应:

HTTP/1.1 206 Partial Content
Content-Length: 32
Accept-Ranges: bytes
Content-Range: bytes 0-31/96
// this is a plain text json doc




多段数据



multipart/byteranges 表示报文的body是由多段自己序列组成的,还需要配合 boundary=xxx给出段之间的分隔标记





请求:

GET /16-2 HTTP/1.1
Host: www.chrono.com
Range: bytes=0-9, 20-29



响应:

HTTP/1.1 206 Partial Content
Content-Type: multipart/byteranges; boundary=00000000001
Content-Length: 189
Connection: keep-alive
Accept-Ranges: bytes
--00000000001
Content-Type: text/plain
Content-Range: bytes 0-9/96
// this is
--00000000001
Content-Type: text/plain
Content-Range: bytes 20-29/96
ext json d
--00000000001--



1. 压缩 HTML 等文本文件是传输大文件最基本的方法;

2. 分块传输可以流式收发数据,节约内存和带宽,使用响应头字段“Transfer-Encoding: chunked”来表示,分块的格式是 16 进制长度头 + 数据块;

3. 范围请求可以只获取部分数据,即“分块请求”,实现视频拖拽或者断点续传,使用请求头字段“Range”和响应头字段“Content-Range”,响应状态码必须是 206;

4. 也可以一次请求多个范围,这时候响应报文的数据类型是“multipart/byteranges”,body 里的多个部分会用 boundary 字符串分隔。




HTTP的连接管理

短连接



因为客户端与服务器的整个连接过程很短暂,不会与服务器保持长时间的连接状态,所以就被称为“短连接”(short-lived connections)。早期的 HTTP 协议也被称为是“无连接”的协议。



短连接的缺点



TCP 建立连接要有“三次握手”,发送3个数据包,需要 1个RTT;关闭连接是“四次挥手,需要2个RTT。每次发送HTTP请求的时候都重新建立和关闭连接,这就带来了传输效率低的问题。



长连接 Connection: keep-alive



针对短连接暴露出的缺点,HTTP 协议就提出了“长连接”的通信方式,也叫“持久连接”(persistent connections)、“连接保活”(keep alive)、“连接复用”(connection reuse)。



复用同一个连接来完成多次HTTP的请求。



长连接的缺点



服务器不会主动关闭对应的连接,需要客户端发送Connection: close字段,服务器在响应的时候也会加上对应的字段,然后就关闭TCP连接。



解决服务器不主动关闭的策略(Nginx):



  1. 使用keepalive_timeout指令,设置长连接的超市时间,如果在一段时间内连接上没有任何数据收发就主动断开连接,避免空闲连接占用系统资源。

  2. 使用keepalive_requests指令,设置长连接上可发送的最大请求次数。比如设置成1000,那么当Nginx在这个连接上处理了1000个请求后,也会主动断开连接。





队头阻塞(Head-of-line blocking)



队头阻塞是由HTTP基本的“请求-应答”模式所导致的。



因为HTTP规定报文必须是“一发一收”的形式,这就会形成一个先进先出的“串行”队列。队列里的请求没有轻重缓急的优先级,只有入队的先后顺序,排在最前面的请求被最优先处理。





解决方案:



  1. “并发连接”(concurrent connections),也就是同时对一个域名发起多个长连接,用数量来解决质量的问题。

  2. “域名分片”(domain sharding)技术,还是用数量来解决质量的思路。

小结

1. 早期的HTTP协议使用短连接,收到响应后就立即关闭连接,效率很低;

2. HTTP/1.1默认启用长连接,在一个连接上收发多个请求响应,提高了传输效率;

3. 服务器会发送“Connection: keep-alive"字段表示启用了长连接;

4. 报文头里如果有“Connection: close”就意味着长连接即将关闭;

5. 过多的长连接会占用服务器资源,所以俯卧起会用一些厕率有选择的关闭长连接;

6. “队头阻塞”问题会导致性能下降,可以用“并发连接”和“域名分片”技术缓解。


HTTP的重定向和跳转

重定向

需要在状态码为301(永久重定向)、302(临时重定向)的情况下,配合location字段才会起效,对于用户来说是无感知的,重定向的地址:有一个相对地址和一个绝对地址(URI),在location字段不完整的时候会自动计算对应的相对位置。

  • 301:永久重定向

  • 302:临时重定向

  • 303:See other 要去重定向后的请求方法改为Get✔️方法,访问一个结果页面,避免 POST/PUT 重复操作;

  • 304:Not Modified,未修改,使用已有的缓存;

  • 307:与302类似,但重定向后请求里的方法和实体不允许变动,含义比302明确;

  • 308:类似 307,不允许重定向后的请求变动,但是与301一样是永久重定向



第一个问题性能损耗:重定向会出现两个请求,除了304,对于服务器来说还是会增加一定的压力的,产生性能损耗的问题;



第二个问题循环跳转:浏览器能检查对应的循环跳转的现象;



1. 重定向是服务器发起的跳转,要求客户端改用新的URI重新发送请求,通常会自动进行,用户是无感知的

2. 302/302是最常用的重定向状态码,分别是“永久重定向”和“临时重定向”;

3. 响应头字段Location只是了要跳转的URI,可以用绝对或相对的形式;

4. 重定向可以把一个URL指向另一个URI,也可以把多个URI指向同一个URI,用途很多;

5. 使用重定向时需要当心性能损耗,还要避免出循环跳转。




HTTP的Cookie机制

`Cookie` <=> `Set-Cookie`





Cookie属性



HTTP/1.1 200
Set-Cookie: key=value, Max-Age=10; Expires=Fri, 08-Jun-22 08:19:00 GMT; Domain=www.example.com; Path=/; HttpOnly; SameSite=Strict;



ExpiresMax-Age都能控制Cookie的有效期,但是浏览器会优先采用 Max-Age计算有效期;



HttpOnly => 防范XSS(跨站脚本)攻击



写过前端的同学一定知道,在 JS 脚本里可以用 document.cookie 来读写 Cookie 数据,这就带来了安全隐患,有可能会导致“跨站脚本”(XSS)攻击窃取数据。

>

属性“HttpOnly”会告诉浏览器,此 Cookie 只能通过浏览器 HTTP 协议传输,禁止其他方式访问,浏览器的 JS 引擎就会禁用 document.cookie 等一切相关的 API,脚本攻击也就无从谈起了。



SameSite => 防范XSRF(跨站请求伪造)攻击



  1. SameSite=Strict:严格限制Cookie不能随着跳转链接跨站发送

  2. SameSite=Lax:允许 GET/HEAD 等安全方法,但是禁止POST跨站发送



Secure 仅能使用HTTPS协议加密传输

1. Cookie 是服务器委托浏览器储存的一些数据,让服务器有了“记忆能力”;

2. 响应报文使用 Set-Cookie 字段发送“key=value”形式的Cookie值;

3. 请求报文里用 Cookie 字段发送多个 Cookie 值;

4. 为了保护 Cookie,还要给它设置有效期、作用域等属性,常用的有Max-AgeExpiresDomainHttpOnly等;

5. Cookie最基本的用途是身份识别,实现有状态会话事务。

Cookie 并不属于 HTTP 标准(RFC6265,而不是 RFC2616/7230)




HTTP的缓存控制

HTTP缓存的分类:



私有浏览器缓存(Private browser caches)



这是在客户端浏览器才能缓存的资源;对应的是头字段中的private



共享代理缓存(Shared proxy caches)



保存的资源是为了重复使用的缓存;主要是在代理服务器上,对应是头字段中的public



如何触发HTTP的缓存



  • 状态为200 的GET响应,例如HTML文件;

  • 永久重定向的响应:301;

  • 错误响应:404;

  • 不完全的响应:206(Partial Content);

  • 其他定义需要缓存的资源;



服务器的缓存控制

HTTP/1.1 200
Cache-Control: max-age=30, no-store, no-cache, must-revalidate, proxy-revalidate, public



max-age:用于控制HTTP缓存,相对于服务器的响应时间;



public/private:public在代理服务器和中间节点都能缓存,但是private只有在目标客户端可以缓存;



no-store:<u>不允许缓存</u>,用于变化非常频繁的数据,例如秒杀页面;



no-cache:<u>可以缓存</u>,但在使用之前要去服务器验证是否过期,是否有最新的版本;



must-revalidate:如果缓存不过期就可以继续使用,但过期了还想使用需要找服务器验证;



proxy-revalidate:与must-revalidate类似,但是只有公共资源可以在代理服务器缓存,仅限public的配置的资源;





客户端的缓存控制



第二次访问同一个页面的时候,就会触发浏览器的缓存;



Ctrl+F5 的“强制刷新”,其实是浏览器想服务器发送了一个Cache-Control: no-cache的请求,更新本地的资源,其含义与max-age=0是基本一样的。



浏览器访问一个页面的时候,先是通过对应的DNS查找对应的服务器地址,然后查找缓存中是否存在对应的资源,如果有就访问缓存,这个时候对缓存资源进行验证,如果过期就会去服务器拿最新的资源,否则就是返回缓存中的资源。



条件请求

If-Modified-Since: Mon, 27 Jul 2020 10:53:40 GMT
If-None-Match: W/"5f1eb234-b7e"



条件请求的两个字段需要配合ETagLast-modified才能起效,在第一次请求的时候,服务器返回上面两个字段;再次请求资源的时候,浏览器会带上这两个资源,使用If-modified-sinceIf-none-Match来验证资源十分过期。如果服务器返回 304 则读取浏览器的缓存文件。



强、弱 ETag



强 ETage 要求资源在字节级别必须完全相符,弱 ETag 在值前面有一个 W/ 标记,只要求资源在语义上没有变化,但内部可能会有部分发生了改变。



1. 缓存是优化系统性能的重要手段,HTTP 传输的每一个环节中都可以有缓存;

2. 服务器使用“Cache-Control”设置缓存策略,常用的是“max-age”,表示资源的有效期;浏览器收到数据就会存入缓存,如果没过期就可以直接使用,过期就要去服务器验证是否仍然可用;

3. 验证资源是否失效需要使用“条件请求”,常用的是“if-Modified-Since”和“If-None-Match”,收到 304 就可以复用缓存里的资源;

4. 验证资源是否被修改的条件有两个:“Last-modified”和“ETag”,需要服务器预先在响应报文里设置,搭配条件请求使用;

5. 浏览器也可以发送“Cache-Control”字段,使用“max-age=0”或“no_cache”刷新数据。




HTTP的代理服务



代理的功能:

负载均衡是最近基本的功能

  • 健康检查:使用“心跳”等机制监控后端服务器,发现有故障就及时“踢出”集群,保证服务高可用;

  • 安全防护:保护被代理的后端服务器,限制 IP 地址或流量,抵御网络攻击和过载;

  • 加密卸载:对外网使用 SSL/TLS 加密通信认证,而在安全的内网不加密,消除加解密成本;

  • 数据过滤:拦截上下行的数据,任意指定策略修改请求或者响应;

  • 内容缓存:暂存、复用服务器响应,这个与第 20 讲密切相关,我们稍后再说。



代理服务器的头字段Via



经过代理服务器的资源会在Via字段中添加代理服务器的身份信息,是一个链表。



1. HTTP 代理就是客户端和服务器通信链路中的一个中间环节,为两端提供“代理服务”;

2. 代理处于中间层,为 HTTP 处理增加了更多的灵活性,可以实现负载均衡、安全防护、数据过滤等功能;

3. 代理服务器需要使用字段“Via”标记自己的身份,多个代理会形成一个列表;

4. 如果想要知道客户端的真实 IP 地址,可以使用字段“X-Forwarded-For”和“X-Real-IP”;

5. 专门的“代理协议”可以在不改动原始报文的情况下传递客户端的真实 IP。




HTTP的缓存代理

源服务器的缓存控制



“private”表示缓存只能在客户端保存,是用户“私有”的,不能放在代理上与别人共享。而“public”的意思就是缓存完全开放,谁都可以存,谁都可以用。



“proxy-revalidate”只要求代理的缓存过期后必须验证,客户端不必回源,只验证到代理这个环节就行了。



“s-maxage”(s 是 share 的意思,注意 maxage 中间没有“-”),只限定在代理上能够存多久,而客户端仍然使用“max-age”。



“no-transform”。代理有时候会对缓存下来的数据做一些优化,比如把图片生成 png、webp 等几种格式,方便今后的请求处理,而“no-transform”就会禁止这样做,不许“偷偷摸摸搞小动作”。





客户端的缓存控制








参考资料:

极客时间《透视 HTTP 协议》

MDN-HTTP-Caching



用户头像

Jaykey

关注

还未添加个人签名 2018.06.29 加入

还未添加个人简介

评论

发布
暂无评论
HTTP协议-进阶