对于redis框架的理解(四)

上一篇讲述了eventloop的结构和创建,添加文件事件删除文件事件,派发等等。

而eventloop主要就是调用不同网络模型完成事件监听和派发的。

这一篇主要讲述epoll网络模型,redis是如何封装和调用的

下面是epoll_event的结构

  1. /*
  2. epoll_event 结构
  3. struct epoll_event
  4. {
  5. uint32_t events; //epoll_event 要注册的事件类型
  6. epoll_data_t data; //User data //联合体用于存储用户要保存的数据
  7. }
  8. typedef union epoll_data
  9. {
  10. void * ptr;
  11. uint32_t u32;
  12. uint64_t u64;
  13. int fd; //一般存储accept后生成的socketfd
  14. }epoll_data_t
  15. */

Ae_epoll.c文件中回传的数据结构

  1. #include <sys/epoll.h>
  2. //该结构用于回传eventLoop->apidata
  3. typedef struct aeApiState {
  4. int epfd; //管理epoll事件表的句柄
  5. struct epoll_event *events; //epoll events的队列
  6. } aeApiState;

Ae_epoll.c中创建epoll句柄

  1. //epoll 创建epfd过程
  2. static int aeApiCreate(aeEventLoop *eventLoop) {
  3. //开辟存储不同网络模型的数据块
  4. aeApiState *state = zmalloc(sizeof(aeApiState));
  5. if (!state) return -1;
  6. //开辟epoll_event * size 大小的空间,这段空间是连续的
  7. state->events = zmalloc(sizeof(struct epoll_event)*eventLoop->setsize);
  8. //开辟失败
  9. if (!state->events) {
  10. zfree(state);
  11. return -1;
  12. }
  13. //创建epfd,最多关注1024个文件描述符
  14. state->epfd = epoll_create(1024); /* 1024 is just a hint for the kernel */
  15. if (state->epfd == -1) {
  16. zfree(state->events);
  17. zfree(state);
  18. return -1;
  19. }
  20. // eventLoop->apidata数据回传
  21. eventLoop->apidata = state;
  22. return 0;
  23. }

Ae_epoll.c重新设置events队列大小

  1. //重新设置aeApiState大小
  2. static int aeApiResize(aeEventLoop *eventLoop, int setsize) {
  3. aeApiState *state = eventLoop->apidata;
  4. state->events = zrealloc(state->events, sizeof(struct epoll_event)*setsize);
  5. return 0;
  6. }

Ae_epoll.c中释放内存和回收

  1. //释放aeApiState和 events 的内存
  2. static void aeApiFree(aeEventLoop *eventLoop) {
  3. aeApiState *state = eventLoop->apidata;
  4. //关闭文件描述符
  5. close(state->epfd);
  6. //释放events的内存
  7. zfree(state->events);
  8. //释放aeApiState 的内存
  9. zfree(state);
  10. }

Ae_epoll.c添加读写事件或者更改读写事件的函数

  1. //epoll 注册事件,读或者写
  2. static int aeApiAddEvent(aeEventLoop *eventLoop, int fd, int mask) {
  3. //aeEventLopp 的数据域
  4. aeApiState *state = eventLoop->apidata;
  5. //epoll_event 事件
  6. struct epoll_event ee;
  7. //aeEventLoop 中注册的文件事件队列标志位如果不是AE_NONE,那么更改,否则添加
  8. int op = eventLoop->events[fd].mask == AE_NONE ?
  9. EPOLL_CTL_ADD : EPOLL_CTL_MOD;
  10. //events读写事件清零
  11. ee.events = 0;
  12. //aeEventLoop 中注册的文件事件标志位进行融合
  13. mask |= eventLoop->events[fd].mask; /* Merge old events */
  14. //如果是读事件,那么将epoll_event 注册读事件
  15. if (mask & AE_READABLE) ee.events |= EPOLLIN;
  16. //如果是写事件,那么将epoll_event 注册写事件
  17. if (mask & AE_WRITABLE) ee.events |= EPOLLOUT;
  18. ee.data.u64 = 0; /* avoid valgrind warning */
  19. //epoll_event 文件描述符
  20. ee.data.fd = fd;
  21. //将epoll事件注册到epoll的事件表里
  22. if (epoll_ctl(state->epfd,op,fd,&ee) == -1) return -1;
  23. return 0;
  24. }

Ae_epoll.c中删除读写事件的函数

  1. static void aeApiDelEvent(aeEventLoop *eventLoop, int fd, int delmask) {
  2. aeApiState *state = eventLoop->apidata;
  3. struct epoll_event ee;
  4. //这是创建的逆过程
  5. //按位去反,按位&,即去掉相应的标志位
  6. int mask = eventLoop->events[fd].mask & (~delmask);
  7. ee.events = 0;
  8. //判断此时文件事件是读
  9. if (mask & AE_READABLE) ee.events |= EPOLLIN;
  10. //判断此时文件事件是写
  11. if (mask & AE_WRITABLE) ee.events |= EPOLLOUT;
  12. ee.data.u64 = 0; /* avoid valgrind warning */
  13. ee.data.fd = fd;
  14. if (mask != AE_NONE) {
  15. //更改epoll_event的事件类型
  16. epoll_ctl(state->epfd,EPOLL_CTL_MOD,fd,&ee);
  17. } else {
  18. /* Note, Kernel < 2.6.9 requires a non null event pointer even for
  19. * EPOLL_CTL_DEL. */
  20. //删除epoll_event 事件
  21. epoll_ctl(state->epfd,EPOLL_CTL_DEL,fd,&ee);
  22. }
  23. }

事件派发函数

  1. //epoll 事件派发
  2. static int aeApiPoll(aeEventLoop *eventLoop, struct timeval *tvp) {
  3. aeApiState *state = eventLoop->apidata;
  4. int retval, numevents = 0;
  5. //epoll wait 返回就绪状态的文件描述符,后面的结构体如果为空,那么说明阻塞,不为空表示等待多少秒后返回
  6. //下面是man手册的解释
  7. //Specifying a timeout of -1 makesepoll_wait(2) wait indefinitely, while specifying
  8. //a timeout equal to zero makesepoll_wait(2) to return immediately
  9. //even if no events are available (return code equal to zero)
  10. retval = epoll_wait(state->epfd,state->events,eventLoop->setsize,
  11. tvp ? (tvp->tv_sec*1000 + tvp->tv_usec/1000) : -1);
  12. if (retval > 0) {
  13. int j;
  14. numevents = retval;
  15. //轮询处理已经就绪的文件描述符
  16. for (j = 0; j < numevents; j++) {
  17. int mask = 0;
  18. //指针+j,表示每次便宜地址为j*epoll_event个字节
  19. struct epoll_event *e = state->events+j;
  20. //可读事件
  21. if (e->events & EPOLLIN) mask |= AE_READABLE;
  22. //可写事件
  23. if (e->events & EPOLLOUT) mask |= AE_WRITABLE;
  24. //处理错误发送给客户端
  25. if (e->events & EPOLLERR) mask |= AE_WRITABLE;
  26. //对端正常关闭(程序里close(),shell下kill或ctr+c),
  27. //触发EPOLLIN和EPOLLRDHUP,但是不触发EPOLLERR和EPOLLHUP。
  28. if (e->events & EPOLLHUP) mask |= AE_WRITABLE;
  29. //添加到aeApiState 的就绪事件队列里
  30. eventLoop->fired[j].fd = e->data.fd;
  31. //就绪时间状态
  32. eventLoop->fired[j].mask = mask;
  33. }
  34. }
  35. return numevents;
  36. }
  1. //网络模型名字
  2. static char *aeApiName(void) {
  3. return "epoll";
  4. }

以上是封装的epoll结构和解释

热门评论

热门文章

  1. Linux环境搭建和编码

    喜欢(594) 浏览(13487)
  2. Qt环境搭建

    喜欢(517) 浏览(24580)
  3. vscode搭建windows C++开发环境

    喜欢(596) 浏览(82976)
  4. 聊天项目(28) 分布式服务通知好友申请

    喜欢(507) 浏览(6078)
  5. 使用hexo搭建个人博客

    喜欢(533) 浏览(11837)

最新评论

  1. 无锁并发队列 TenThousandOne:_head  和 _tail  替换为原子变量。那里pop的逻辑,val = _data[h] 可以移到循环外面吗
  2. 网络编程学习方法和图书推荐 Corleone:啥程度可以找工作
  3. 创建项目和编译 secondtonone1:谢谢支持
  4. 再谈单例模式 secondtonone1:是的,C++11以后返回局部static变量对象能保证线程安全了。
  5. 构造函数 secondtonone1:构造函数是类的基础知识,要着重掌握
  6. boost::asio之socket的创建和连接 项空月:发现一些错别字 :每隔vector存储  是不是是每个. asio::mutable_buffers_1 o或者    是不是多打了个o
  7. 聊天项目(15) 客户端实现TCP管理者 lkx:已经在&QTcpSocket::readyRead 回调函数中做了处理了的。
  8. string类 WangQi888888:确实错了,应该是!isspace(sind[index]). 否则不进入循环,还是原来的字符串“some string”
  9. 答疑汇总(thread,async源码分析) Yagus:如果引用计数为0,则会执行 future 的析构进而等待任务执行完成,那么看到的输出将是 这边应该不对吧,std::future析构只在这三种情况都满足的时候才回block: 1.共享状态是std::async 创造的(类型是_Task_async_state) 2.共享状态没有ready 3.这个future是共享状态的最后一个引用 这边共享状态类型是“_Package_state”,引用计数即使为0也不应该block啊
  10. Qt 对话框 Spade2077:QDialog w(); //这里是不是不需要带括号
  11. visual studio配置boost库 一giao里我离giaogiao:请问是修改成这样吗:.\b2.exe toolset=MinGW
  12. 处理网络粘包问题 zyouth: //消息的长度小于头部规定的长度,说明数据未收全,则先将部分消息放到接收节点里 if (bytes_transferred < data_len) { memcpy(_recv_msg_node->_data + _recv_msg_node->_cur_len, _data + copy_len, bytes_transferred); _recv_msg_node->_cur_len += bytes_transferred; ::memset(_data, 0, MAX_LENGTH); _socket.async_read_some(boost::asio::buffer(_data, MAX_LENGTH), std::bind(&CSession::HandleRead, this, std::placeholders::_1, std::placeholders::_2, shared_self)); //头部处理完成 _b_head_parse = true; return; } 把_b_head_parse = true;放在_socket.async_read_some前面是不是更好
  13. Qt MVC结构之QItemDelegate介绍 胡歌-此生不换:gpt, google
  14. 利用栅栏实现同步 Dzher:作者你好!我觉得 std::thread a(write_x); std::thread b(write_y); std::thread c(read_x_then_y); std::thread d(read_y_then_x); 这个例子中的assert fail并不会发生,原子变量设定了非relaxed内存序后一个线程的原子变量被写入,那么之后的读取一定会被同步的,c和d线程中只可能同时发生一个z++未执行的情况,最终z不是1就是2了,我测试了很多次都没有assert,请问我这个观点有什么错误,谢谢!
  15. protobuf配置和使用 熊二:你可以把dll放到系统目录,也可以配置环境变量,还能把dll丢到lib里
  16. 解决博客回复区被脚本注入的问题 secondtonone1:走到现在我忽然明白一个道理,无论工作也好生活也罢,最重要的是开心,即使一份安稳的工作不能给我带来事业上的积累也要合理的舍弃,所以我还是想去做喜欢的方向。
  17. 堆排序 secondtonone1:堆排序非常实用,定时器就是这个原理制作的。
  18. 类和对象 陈宇航:支持!!!!
  19. 聊天项目(9) redis服务搭建 pro_lin:redis线程池的析构函数,除了pop出队列,还要free掉redis连接把
  20. 聊天项目(7) visualstudio配置grpc diablorrr:cmake文件得改一下 find_package(Boost REQUIRED COMPONENTS system filesystem),要加上filesystem。在target_link_libraries中也同样加上
  21. 面试题汇总(一) secondtonone1:看到网络上经常提问的go的问题,做了一下汇总,结合自己的经验给出的答案,如有纰漏,望指正批评。
  22. C++ 并发三剑客future, promise和async Yunfei:大佬您好,如果这个线程池中加入的异步任务的形参如果有右值引用,这个commit中的返回类型推导和bind绑定就会出现问题,请问实际工程中,是不是不会用到这种任务,如果用到了,应该怎么解决?
  23. interface应用 secondtonone1:interface是万能类型,但是使用时要转换为实际类型来使用。interface丰富了go的多态特性,也降低了传统面向对象语言的耦合性。

个人公众号

个人微信