【网络】【操作系统】详解 select、poll、epoll
看到这张图你能够完全理解吗。
相关视频讲解
1.多路复用的意思:多路复用的意思,就是在任何一路 I/O 有“事件”发生的情况下,通知应用程序去处理相应的 I/O 事件,这样我们的程序就变成了“多面手”,在同一时刻仿佛可以处理多个 I/O 事件。
2.应用条件:
标准输入文件描述符准备好可以读。
监听套接字准备好,新的连接已经建立成功。
已连接套接字准备好可以写。
如果一个 I/O 事件等待超过了 10 秒,发生了超时事件。
3.中断的概念:
在 cpu 运行着进程 A 时,进程 B 发起一个中断请求 IRQ,中断处理程序进行处理请求,将进程 A 挂起,然后运行进程 B。
中断的过程:将当前运行的进程的运行信息保存到该进程的描述符。根据进程描述符的内核态堆栈指针切换到内核态。根据来到的 IRQ 在中断表里面查找所属的中断处理程序。运行该中断处理程序。(看似是进程执行的中断,但和进程没什么关系)
4.硬中断的概念:
对于计算机硬件的,一般来说是与当时 CPU 请求是异步的(没关系的),比如网关来了一个报文,
5.软中断的理解:
CPU 在执行一段代码段是 遇到问题,进行中断,由用户态切换到内核态。
6.每次中断都有其对应的中断处理程序。
7 每个进程都在用户态和内核态拥有一个堆栈。
8.为什么要有两种状态(内核态、用户态)
内核态和用户态的”权限不同“。防止每个程序都分配过多资源。用户态的进程能够访问的资源受到了极大的控制,而运行在内核态的进程可以“为所欲为”。
一个进程可以运行在用户态也可以运行在内核态,那它们之间肯定存在用户态和内核态切换的过程。
打一个比方:C 库接口 malloc 申请动态内存,malloc 的实现内部最终还是会调用 brk()或者 mmap()系统调用来分配内存。
9.从用户态到内核态切换可以通过三种方式:
系统调用,这个上面已经讲解过了,在我公众号之前的文章也有讲解过。其实系统调用本身就是中断,但是软件中断,跟硬中断不同。
异常:如果当前进程运行在用户态,如果这个时候发生了异常事件,就会触发切换。例如:缺页异常。
外设中断:当外设完成用户的请求时,会向 CPU 发送中断信号。
10.socket 的小 demo
11.socket 底层逻辑图
12.阻塞模式下的情况
写
(1)要传输的数据大于 输出缓冲区的大小,需要分开传输,还没传输的挂起。
(2)输出缓冲区 TCP 正在输出别的数据,需要 TCP 释放输出缓冲区才能写。
读
(1)如果输入缓存区没有数据,则系统调用的方法挂起。
(2)缓冲区数据太多,每次 read 只能读一部分,需要一直慢慢读直到读完
13.非阻塞模式下
文章福利 Linux 后端开发网络底层原理知识学习提升 点击 学习资料 获取,完善技术栈,内容知识点包括 Linux,Nginx,ZeroMQ,MySQL,Redis,线程池,MongoDB,ZK,Linux 内核,CDN,P2P,epoll,Docker,TCP/IP,协程,DPDK 等等。
写
(1)如果向输出缓冲区写的数据太多了 ,分批发送,但是会马上告诉你发送了多少。
(2)如果空间为 0,会马上告诉你缓冲区满了,由上次程序决定怎么做。(而阻塞则会一直挂起,等待缓冲区释放)
14.进程进行用户态到内核态的切换过程:
1.从当前进程的描述符中提取其内核栈的 ss0 及 esp0 信息。
2.使用 ss0 和 esp0 指向的内核栈将当前进程的 cs,eip,eflags,ss,esp 信息保存起来,这个过程也完成了由用户栈到内核栈的切换过程,同时保存了 z 暂停执行的程序的下一条指令。
3.将先前由中断向量检索得到的中断处理程序的 cs,eip 信息装入相应的寄存器,开始执行中断处理程序,这时就转到了内核态的程序执行了。
15.Linux 的一切都是文件 fd。
16.select 函数
1)maxfdpl 最大有效位。(因为 fd_set 是以 bitmap 来保存数据的 linux 默认 1024 位 bitmap 最大有效位之后不需要检查)
2)fd_set *readset 可读文件描述符集
3)fd_set *writeset 可写文件描述符集
4)fd_set *exceptset 异常文件描述符集
5)timeout 超时时间
Linux select 函数的宏
select 函数缺点:
1)固定文件描述符 1024 位的 bitmap,请求过大则无法描述,有大小限制
2)fd_set 不可重用,每次都有重新置位
3)有用户态到内核态切换的开销
4)每次函数返回都需要 O(n)的时间进行遍历
17.poll 函数
我们将 select 函数的 bitmap 结构的 fd_set 变为 自己实现的 pollfd
使用链表来进行文件描述,不存在大小限制问题。
18.epoll 函数
19.同步调用、异步调用:
同步:B 来向 A 拿取数据,B 一直等到 A 正确交付数据。
异步:B 来向 A 拿取数据,B 见 A 还在准备则返回 进行自己的事情。
20.阻塞、非阻塞
A 向 B 拿数据,C 也向 A 要数据,C 要等待 则是阻塞。
A 向 B 拿数据,C 也向 A 要数据,A 同时服务 B C 则是非阻塞。
同步与异步
同步: 同步就是发起一个调用后,被调用者未处理完请求之前,调用不返回。
异步: 异步就是发起一个调用后,立刻得到被调用者的回应表示已接收到请求,但是被调用者并没有返回结果,此时我们可以处理其他的请求,被调用者通常依靠事件,回调等机制来通知调用者其返回结果。
同步和异步的区别最大在于异步的话调用者不需要等待处理结果,被调用者会通过回调等机制来通知调用者其返回结果。
阻塞和非阻塞
阻塞: 阻塞就是发起一个请求,调用者一直等待请求结果返回,也就是当前线程会被挂起,无法从事其他任务,只有当条件就绪才能继续。
非阻塞: 非阻塞就是发起一个请求,调用者不用一直等着结果返回,可以先去干其他事情。
21.网络通信例子
服务端
客户端
我们可以看到服务端有 2 个方法 accept 和 read 都在阻塞,这就是我们的 BIO(同步阻塞 I/O 模式)
优化:我们可以使用多线程、线程池等来优化,关键是有很多不活跃的线程时,占用资源过多,上下文切换过多。
22.使用 NIO 优化通信例子(服务器端 客户端无所谓)
23.windows 的 NIO 是 select linux 的 NIO 底层是 eqpoll。
Redis 的 NIO 是 epoll,只能在 Linux 环境运行,但是有 win 版本,是大神修改了 redis 代码。
评论