写点什么

【网络】【操作系统】详解 select、poll、epoll

发布于: 2021 年 04 月 24 日

看到这张图你能够完全理解吗。

相关视频讲解

基于linux epoll网络编程细节处理

网路io底层epoll

提升服务器底层性能,异步解决方案

c/c++Linux服务器开发高级架构师系统学习视频

1.多路复用的意思:多路复用的意思,就是在任何一路 I/O 有“事件”发生的情况下,通知应用程序去处理相应的 I/O 事件,这样我们的程序就变成了“多面手”,在同一时刻仿佛可以处理多个 I/O 事件。

2.应用条件:

  • 标准输入文件描述符准备好可以读。

  • 监听套接字准备好,新的连接已经建立成功。

  • 已连接套接字准备好可以写。

  • 如果一个 I/O 事件等待超过了 10 秒,发生了超时事件。

3.中断的概念:

在 cpu 运行着进程 A 时,进程 B 发起一个中断请求 IRQ,中断处理程序进行处理请求,将进程 A 挂起,然后运行进程 B。

中断的过程:将当前运行的进程的运行信息保存到该进程的描述符。根据进程描述符的内核态堆栈指针切换到内核态。根据来到的 IRQ 在中断表里面查找所属的中断处理程序。运行该中断处理程序。(看似是进程执行的中断,但和进程没什么关系)

4.硬中断的概念:

对于计算机硬件的,一般来说是与当时 CPU 请求是异步的(没关系的),比如网关来了一个报文,

5.软中断的理解:

CPU 在执行一段代码段是 遇到问题,进行中断,由用户态切换到内核态。

6.每次中断都有其对应的中断处理程序。

7 每个进程都在用户态和内核态拥有一个堆栈。

8.为什么要有两种状态(内核态、用户态)

内核态和用户态的”权限不同“。防止每个程序都分配过多资源。用户态的进程能够访问的资源受到了极大的控制,而运行在内核态的进程可以“为所欲为”。

一个进程可以运行在用户态也可以运行在内核态,那它们之间肯定存在用户态和内核态切换的过程。

打一个比方:C 库接口 malloc 申请动态内存,malloc 的实现内部最终还是会调用 brk()或者 mmap()系统调用来分配内存。

9.从用户态到内核态切换可以通过三种方式:

  1. 系统调用,这个上面已经讲解过了,在我公众号之前的文章也有讲解过。其实系统调用本身就是中断,但是软件中断,跟硬中断不同。

  2. 异常:如果当前进程运行在用户态,如果这个时候发生了异常事件,就会触发切换。例如:缺页异常。

  3. 外设中断:当外设完成用户的请求时,会向 CPU 发送中断信号。

10.socket 的小 demo


11.socket 底层逻辑图

12.阻塞模式下的情况

(1)要传输的数据大于 输出缓冲区的大小,需要分开传输,还没传输的挂起。

(2)输出缓冲区 TCP 正在输出别的数据,需要 TCP 释放输出缓冲区才能写。

(1)如果输入缓存区没有数据,则系统调用的方法挂起。

(2)缓冲区数据太多,每次 read 只能读一部分,需要一直慢慢读直到读完

13.非阻塞模式下

文章福利 Linux 后端开发网络底层原理知识学习提升 点击 学习资料 获取,完善技术栈,内容知识点包括 Linux,Nginx,ZeroMQ,MySQL,Redis,线程池,MongoDB,ZK,Linux 内核,CDN,P2P,epoll,Docker,TCP/IP,协程,DPDK 等等。

(1)如果向输出缓冲区写的数据太多了 ,分批发送,但是会马上告诉你发送了多少。

(2)如果空间为 0,会马上告诉你缓冲区满了,由上次程序决定怎么做。(而阻塞则会一直挂起,等待缓冲区释放)

14.进程进行用户态到内核态的切换过程:

  1.从当前进程的描述符中提取其内核栈的 ss0 及 esp0 信息。

  2.使用 ss0 和 esp0 指向的内核栈将当前进程的 cs,eip,eflags,ss,esp 信息保存起来,这个过程也完成了由用户栈到内核栈的切换过程,同时保存了 z 暂停执行的程序的下一条指令。

  3.将先前由中断向量检索得到的中断处理程序的 cs,eip 信息装入相应的寄存器,开始执行中断处理程序,这时就转到了内核态的程序执行了。

15.Linux 的一切都是文件 fd。

16.select 函数

#include <sys/select.h>   
int select(int maxfdp1, fd_set *readset, fd_set *writeset, fd_set *exceptset,struct timeval *timeout);
复制代码

1)maxfdpl   最大有效位。(因为 fd_set 是以 bitmap 来保存数据的 linux 默认 1024 位 bitmap 最大有效位之后不需要检查)

2)fd_set *readset   可读文件描述符集

3)fd_set *writeset   可写文件描述符集

4)fd_set *exceptset   异常文件描述符集

5)timeout  超时时间

Linux select 函数的宏

 
#include <sys/select.h>
int FD_ZERO(int fd, fd_set *fdset); //将描述符集全部置0
int FD_CLR(int fd, fd_set *fdset); //
int FD_SET(int fd, fd_set *fd_set); //将某个位置位
int FD_ISSET(int fd, fd_set *fdset); //检查某个位是否被置位
复制代码


select 函数缺点:

1)固定文件描述符 1024 位的 bitmap,请求过大则无法描述,有大小限制

2)fd_set 不可重用,每次都有重新置位

3)有用户态到内核态切换的开销

4)每次函数返回都需要 O(n)的时间进行遍历

17.poll 函数

我们将 select 函数的 bitmap 结构的 fd_set 变为 自己实现的 pollfd

使用链表来进行文件描述,不存在大小限制问题。

18.epoll 函数

19.同步调用、异步调用:

同步:B 来向 A 拿取数据,B 一直等到 A 正确交付数据。

异步:B 来向 A 拿取数据,B 见 A 还在准备则返回 进行自己的事情。

20.阻塞、非阻塞

A 向 B 拿数据,C 也向 A 要数据,C 要等待 则是阻塞。

A 向 B 拿数据,C 也向 A 要数据,A 同时服务 B C 则是非阻塞。

同步与异步

  • 同步: 同步就是发起一个调用后,被调用者未处理完请求之前,调用不返回。

  • 异步: 异步就是发起一个调用后,立刻得到被调用者的回应表示已接收到请求,但是被调用者并没有返回结果,此时我们可以处理其他的请求,被调用者通常依靠事件,回调等机制来通知调用者其返回结果。

同步和异步的区别最大在于异步的话调用者不需要等待处理结果,被调用者会通过回调等机制来通知调用者其返回结果。

阻塞和非阻塞

  • 阻塞: 阻塞就是发起一个请求,调用者一直等待请求结果返回,也就是当前线程会被挂起,无法从事其他任务,只有当条件就绪才能继续。

  • 非阻塞: 非阻塞就是发起一个请求,调用者不用一直等着结果返回,可以先去干其他事情。

21.网络通信例子

服务端

客户端


我们可以看到服务端有 2 个方法 accept 和 read 都在阻塞,这就是我们的 BIO(同步阻塞 I/O 模式)

优化:我们可以使用多线程、线程池等来优化,关键是有很多不活跃的线程时,占用资源过多,上下文切换过多。

22.使用 NIO 优化通信例子(服务器端 客户端无所谓)



23.windows 的 NIO 是 select linux 的 NIO 底层是 eqpoll。

Redis 的 NIO 是 epoll,只能在 Linux 环境运行,但是有 win 版本,是大神修改了 redis 代码。

用户头像

Linux服务器开发qun720209036,欢迎来交流 2020.11.26 加入

专注C/C++ Linux后台服务器开发。

评论

发布
暂无评论
【网络】【操作系统】详解select、poll、epoll