IO多路复用之epoll(一)讲解

网络通信中socket有自己的内核发送缓冲区内核接受缓冲区,好比是一个水池,当用户发送数据的时候会从用户缓冲区拷贝到socket的内核发送缓冲区,然后从

socket发送缓冲区发出去, 当用户要读取数据时,就是从socket内核读缓冲区读到用户缓冲区。所以TCP中recv, send, read, write等函数并不是真的直接读写

发送报文,而是将数据分别写到socket内核缓冲区,或者从socket内核缓冲区读到用户区。

对于读有两种状态,可读不可读,当用户从socket中读取数据的时候,如果socket读缓冲区内容为空,那么读数据会失败,阻塞情况下会等待数据到来,非阻塞情况下

会返回一个EWOULDBLOCK 或者EAGAIN,反之如果读缓冲区内容不为空,那么就会返回读到的字节数。

对于用户向socket中写数据,存在可写不可写,如果socket写缓冲区内容满了,此时向socket写缓冲区里写数据会失败,阻塞情况下会等待socket的写缓冲区非满(有空闲空间),非阻塞情况下回返回-1,根据errono 为EWOULDBLOCK或者EAGAIN判断写缓冲区满

反之,如果socket写缓冲区此时非满,那么写会成功,返回写入的字节数。

综上所述,对于读的情况,我们关注socket读缓冲区空还是非空,对于写的情况,我们关注

写缓冲区满还是非满。

讲述epoll 的几个参数含义

EPOLLIN:关联文件用来监听读事件
EPOLLOUT:关联文件用来监听写事件

POLLRDNORM,有普通数据可读。
POLLRDBAND,有优先数据可读。
POLLPRI,有紧迫数据可读。

POLLWRNORM,写普通数据不会导致阻塞。
POLLWRBAND,写优先数据不会导致阻塞。
POLLMSG,SIGPOLL消息可用。
此外,还可能返回下列事件:
POLLER,指定的文件描述符发生错误。
POLLHUP,指定的文件描述符挂起事件。
POLLNVAL,指定的文件描述符非法。

EPOLL有两种模式LT(水平触发模式)ET(边缘触发模式)

LT:水平触发 一直触发

1 内核中的socket接受缓冲区不为空,那么有数据可读,一直出发读事件
2 内核中的socket发送缓冲区不满,可以继续写入数据,写事件一直出发
试想一下,如果一开始就关注EPOLLOUT,会是什么情况呢?对于LT模式,由于刚开始socket的发送缓冲区肯定是空的,那么
由于socket的发送缓冲区可以一直写数据,所以写事件会一直触发。正确的做法是,我们向socket中写数据,当返回EAGAIN(socket
发送缓冲区满了)的时候,这个时候如果关注EPOLLOUT,当socket发送缓冲区由满变为非满,会触发写事件。这个时候,就从应用
缓冲区取出数据拷贝到内核缓冲区。如果应用缓冲区的数据已经全部拷贝到内核缓冲区,说明数据全部在socket的发送缓冲区,
就取消EPOLLOUT的关注,如果应用缓冲区还有数据没拷贝完全,就不需要取消对EPOLLOUT的关注。

优点是对于read操作比较简单,只要有read事件就读,读多读少都可以。
缺点是write相关操作较复杂, 由于socket在空闲状态发送缓冲区一定是不满的, 故若socket一直在epoll wait列表中,则epoll会一直通知write事件
所以必须保证没有数据要发送的时候,要把socket的write事件从epoll wait列表中删除。
而在需要的时候在加入回去,这就是LT模式的最复杂部分。

ET:边沿触发模式

由未就绪变为就绪状态才可触发,比如写事件由缓冲区满变为缓冲区非满,读事件由缓冲区空到非空才触发
1.内核中socket接受缓冲区不为空,那么有数据可读,可以触发读事件,但是对于边缘模式,只触发一次
例如,当listen一个文件描述符,当有很多新的连接连上来的时候,只触发一次。所以要在循环中accept,取出所以新连接上来的socket
例如,当监听的socket有读事件,一定要读完所有的数据,否则之后到来的数据就会被漏掉。解决办法是在循环体内读取数据,
直到读完或者读出的返回值为EAGIN(缓冲区为空)才可以。对于写事件,发送数据,直到发送完或者产生EAGIN(缓冲区为满)
ET模式下,只有socket的状态发生变化时才会通知,也就是读取缓冲区由无数据到有数据时通知read事件,发送缓冲区由满变成未满通知write事件。

缺点是epoll read事件触发时,必须保证socket的读取缓冲区数据全部读完(事实上这个要求很容易达到)
优点:对于write事件,发送缓冲区由满到未满时才会通知,若无数据可写,忽略该事件,若有数据可写,直接写。
当向socket写数据,返回的值小于传入的buffer大小或者write系统调用返回EWouldBlock时,表示发送缓冲区已满。

平时大家使用 epoll 时都知道其事件触发模式有默认的 level-trigger 模式和通过 EPOLLET 启用的 edge-trigger 模式两种。
从 epoll 发展历史来看,它刚诞生时只有 edge-trigger 模式,后来因容易产生 race-cond 且不易被开发者理解,
又增加了 level-trigger 模式并作为默认处理方式。二者的差异在于 level-trigger 模式下只要某个 fd
处于 readable/writable 状态,无论什么时候进行 epoll_wait 都会返回该 fd;
而 edge-trigger 模式下只有某个 fd 从 unreadable 变为 readable 或从 unwritable 变为 writable 时,
epoll_wait 才会返回该 fd。

然后我们来说说epoll几个函数

epoll的接口非常简单,一共就三个函数:
1 int epoll_create(int size);
创建一个epoll句柄,size用来告诉内核这个监听的数目一共有多大。size为最大监听数量+1,因为创建好epoll句柄后,他就会占用一个fd值,
在linux下如果查看/proc/进程/id/fd/,能看到这个fd,使用完epoll后,必须调用close()关闭,否则可能导致fd被耗尽。

2 int epoll_ctl(int epfd, int op, int fd, struct epoll_event * event);
epoll的事件注册函数,先注册想要监听的事件类型,第一个参数是epoll_create()的返回值,第二个参数表示动作,
用三个宏来表示:

EPOLL_CTL_ADD:注册新的fd到epfd中
EPOLL_CTL_MOD:修改已经注册的fd的监听事件;
EPOLL_CTL_DEL:从epfd中删除一个fd
第三个参数是需要监听的fd,第四个参数是告诉内核需要监听什么事,struct epoll_event结构如下:

  1. typedef union epoll_data {
  2. void *ptr;
  3. int fd;
  4. __uint32_t u32;
  5. __uint64_t u64;
  6. } epoll_data_t;
  7. struct epoll_event {
  8. __uint32_t events; /* Epoll events */
  9. epoll_data_t data; /* User data variable */
  10. };

events可以是以下几个宏的集合:
EPOLLIN :表示对应的文件描述符可以读(包括对端SOCKET正常关闭);
EPOLLOUT:表示对应的文件描述符可以写;
EPOLLPRI:表示对应的文件描述符有紧急的数据可读(这里应该表示有带外数据到来);
EPOLLERR:表示对应的文件描述符发生错误;
EPOLLHUP:表示对应的文件描述符被挂断;
EPOLLET: 将EPOLL设为边缘触发(Edge Triggered)模式,这是相对于水平触发(Level Triggered)来说的。
EPOLLONESHOT:只监听一次事件,当监听完这次事件之后,如果还需要继续监听这个socket的话,需要再次把这个socket加入到EPOLL队列里

3 int epoll_wait(int epfd, struct epoll_event* events, int maxevents, int tiemout);
等待事件产生,参数events用来从内核中得到事件的集合,maxevents告知内核这个events有多大,这个maxevents的值不能大于创建epoll_create()
的size,参数timeout是超时时间,毫秒,0表示立即返回,-1会永久阻塞。该函数返回需要处理的事件数目,如果返回0,表示已超时。

下面我查阅相关资料,仿照别人写了一个类似的epoll demo代码,这个是LT的,下一篇写ET的

  1. #include <unistd.h>
  2. #include <sys/types.h>
  3. #include <fcntl.h>
  4. #include <sys/socket.h>
  5. #include <netinet/in.h>
  6. #include <arpa/inet.h>
  7. #include <signal.h>
  8. #include <fcntl.h>
  9. #include <sys/wait.h>
  10. #include <sys/epoll.h>
  11. #include <stdlib.h>
  12. #include <stdio.h>
  13. #include <errno.h>
  14. #include <string.h>
  15. #include <vector>
  16. #include <algorithm>
  17. #include <iostream>
  18. #define ERR_EXIT(m) \
  19. do \
  20. { \
  21. perror(m); \
  22. exit(EXIT_FAILURE); \
  23. } while(0)
  24. //先定义一个类型,epoll_event连续的存储空间,可以是数组,也可以是vector
  25. //当然也可以malloc一块连续内存 (struct epoll_event *)malloc(n * sizeof(struct epoll_event));
  26. typedef std::vector<struct epoll_event> EventList;
  27. int main()
  28. {
  29.   //打开一个空的描述符
  30.   int idlefd = open("/dev/null",O_RDONLY|O_CLOEXEC);
  31.   //生成listen描述符
  32.   int listenfd = socket(PF_INET, SOCK_CLOEXEC | SOCK_STREAM | SOCK_NONBLOCK, IPPROTO_TCP);
  33.   if(listenfd < 0)
  34.   {
  35.     ERR_EXIT("socketfd");
  36.   }
  37.   //初始化地址信息
  38.   struct sockaddr_in servaddr;
  39.   memset(&servaddr,0 ,sizeof(struct sockaddr_in));
  40.   servaddr.sin_family = AF_INET;
  41.   servaddr.sin_port = htons(6666);
  42.   servaddr.sin_addr.s_addr = htonl(INADDR_ANY);
  43.   int on = 1;
  44.   if (setsockopt(listenfd, SOL_SOCKET, SO_REUSEADDR, &on, sizeof(on)) < 0)
  45.   ERR_EXIT("setsockopt");
  46.   if(bind(listenfd, (struct sockaddr*)&servaddr, sizeof(servaddr)))
  47.   ERR_EXIT("bindError");
  48.   if (listen(listenfd, SOMAXCONN) < 0)
  49.   ERR_EXIT("listen");
  50.   //记录客户端连接对应的socket
  51.   std::vector<int> clients;
  52.   //创建epollfd, 用于管理epoll事件表
  53.   int epollfd;
  54.   epollfd = epoll_create1(EPOLL_CLOEXEC);
  55.   struct epoll_event event;
  56.   event.data.fd = listenfd;
  57.   event.events = EPOLLIN;
  58.   //将listenfd加入到epollfd管理的表里
  59.   epoll_ctl(epollfd, EPOLL_CTL_ADD, listenfd, &event);
  60.   //创建长度为16的epoll_event队列
  61.   EventList events(16);
  62.   //用于接收新连接的客户端地址
  63.   struct sockaddr_in peeraddr;
  64.   socklen_t peerlen;
  65.   int connfd;
  66.   int nready;
  67.   while(1)
  68.   {
  69.     nready = epoll_wait(epollfd, &*events.begin(), static_cast<int>(events.size()), -1);
  70.     if (nready == -1)
  71.     {
  72.       if (errno == EINTR)
  73.       continue;
  74.       ERR_EXIT("epoll_wait");
  75.     }
  76.     if (nready == 0) // nothing happended
  77.       continue;
  78.     //大小不够了就重新开辟
  79.     if ((size_t)nready == events.size())
  80.     events.resize(events.size()*2);
  81.   
  82.     for (int i = 0; i < nready; ++i)
  83.     {
  84.       //判断wait返回的events数组状态是否正常
  85.       if ((events[i].events & EPOLLERR) ||
  86.         (events[i].events & EPOLLHUP) ||
  87.         (!(events[i].events & EPOLLIN)))
  88.         {
  89.           fprintf (stderr, "epoll error\n");
  90.           close (events[i].data.fd);
  91.           continue;
  92.         }
  93.         if (events[i].data.fd == listenfd)
  94.         {
  95.           peerlen = sizeof(peeraddr);
  96.           //LT模式accept不用放在while循环里
  97.           connfd = ::accept4(listenfd, (struct sockaddr*)&peeraddr,
  98.             &peerlen, SOCK_NONBLOCK | SOCK_CLOEXEC);
  99.           //accept失败,判断是否是文件描述符达到上限
  100.           if (connfd == -1)
  101.           {
  102.             if (errno == EMFILE)
  103.             {
  104.               //关闭之前打开的描述符,重新accept,然后关闭这个accept得到的描述符,
  105.               //因为LT模式,如果socket读缓冲区有数据一直读取失败会造成busyloop         
  106.               close(idlefd);
  107.               idlefd = accept(listenfd, NULL, NULL);
  108.               close(idlefd);
  109.               idlefd = open("/dev/null", O_RDONLY | O_CLOEXEC);
  110.               continue;
  111.             }
  112.             else
  113.               ERR_EXIT("accept4");
  114.          }
  115.             std::cout<<"ip="<<inet_ntoa(peeraddr.sin_addr)<<
  116.               " port="<<ntohs(peeraddr.sin_port)<<std::endl;
  117.                 clients.push_back(connfd);
  118.             //将connd加入epoll表里,关注读事件
  119.             event.data.fd = connfd;
  120.             event.events = EPOLLIN ;
  121.             epoll_ctl(epollfd, EPOLL_CTL_ADD, connfd, &event);
  122.         }
  123.         else if (events[i].events & EPOLLIN)
  124.         {
  125.           connfd = events[i].data.fd;
  126.           if (connfd < 0)
  127.           continue;
  128.           char buf[1024] = {0};
  129.           int ret = read(connfd, buf, 1024);
  130.           if (ret == -1)
  131.           //ERR_EXIT("read");
  132.           {
  133.             if((errno == EAGAIN) ||
  134.               (errno == EWOULDBLOCK))
  135.             {
  136.               //由于内核缓冲区空了,下次再读,
  137.               //这个是LT模式不需要重新加入EPOLLIN事件,下次还会通知
  138.               continue;
  139.             }
  140.             ERR_EXIT("read");
  141.           }
  142.           if (ret == 0)
  143.           {
  144.             std::cout<<"client close"<<std::endl;
  145.             close(connfd);
  146.             event = events[i];
  147.             epoll_ctl(epollfd, EPOLL_CTL_DEL, connfd, &event);
  148.             clients.erase(std::remove(clients.begin(), clients.end(), connfd), clients.end());
  149.             continue;
  150.           }
  151.           //
  152.           std::cout<<buf;
  153.           write(connfd, buf, strlen(buf));
  154.         }
  155.         else //写事件
  156.           if(events[i].events & EPOLLOUT)
  157.           {
  158.             connfd = events[i].data.fd;
  159.             char buf[512];
  160.             int count = write(events[i].data.fd, buf, strlen(buf));
  161.             if(count == -1)
  162.             {
  163.               if((errno == EAGAIN) ||
  164.                 (errno == EWOULDBLOCK))
  165.               {
  166.                 //由于内核缓冲区满了,下次再写,
  167.                 //这个是LT模式不需要重新加入EPOLLOUT事件
  168.                  continue;
  169.               }
  170.               ERR_EXIT("write");
  171.             }
  172.               //写完要记得从epoll内核中删除,因为LT模式写缓冲区不满就会触发EPOLLOUT事件,防止busyloop
  173.               event.data.fd = connfd;
  174.               event.events = EPOLLOUT;
  175.               epoll_ctl (epollfd, EPOLL_CTL_DEL, events[i].data.fd, &event);
  176.               //close 操作会将events[i].data.fd从epoll表里删除,所以上面的操作可以不写
  177.               //close(events[i].data.fd); 此处是关闭了和客户端的连接,不关闭也可以,只和策划需求有关
  178.           }
  179.       }
  180.     }
  181. return 0;
  182. }

好了,这就是epoll 的LT模式,demo源代码下载地址 http://download.csdn.net/detail/secondtonone1/9484752
谢谢关注我的公众号
https://cdn.llfc.club/gzh.jpg

热门评论

热门文章

  1. C++ 类的继承封装和多态

    喜欢(588) 浏览(2558)
  2. slice介绍和使用

    喜欢(521) 浏览(1714)
  3. Linux环境搭建和编码

    喜欢(594) 浏览(5477)
  4. windows环境搭建和vscode配置

    喜欢(587) 浏览(1710)
  5. 解密定时器的实现细节

    喜欢(566) 浏览(1840)

最新评论

  1. 基于锁实现线程安全队列和栈容器 secondtonone1:我是博主,你认真学习的样子的很可爱,哈哈,我画的是链表由空变成1个的情况。其余情况和你思考的类似,只不过我用了一个无效节点表示tail的指向,最初head和tail指向的都是这个节点。
  2. 解决博客回复区被脚本注入的问题 secondtonone1:走到现在我忽然明白一个道理,无论工作也好生活也罢,最重要的是开心,即使一份安稳的工作不能给我带来事业上的积累也要合理的舍弃,所以我还是想去做喜欢的方向。
  3. 利用内存模型优化无锁栈 卡西莫多的礼物:感谢博主指点,好人一生平安o(* ̄▽ ̄*)ブ
  4. 类和对象 陈宇航:支持!!!!
  5. 泛型算法的定制操作 secondtonone1:lambda和bind是C11新增的利器,善于利用这两个机制可以极大地提升编程安全性和效率。

个人公众号

个人微信