字节序处理和消息队列的控制

字节序的问题

在计算机网络中,由于不同的计算机使用的 CPU 架构和字节顺序可能不同,因此在传输数据时需要对数据的字节序进行统一,以保证数据能够正常传输和解析。这就是网络字节序的作用。

具体来说,计算机内部存储数据的方式有两种:大端序(Big-Endian)和小端序(Little-Endian)。在大端序中,高位字节存储在低地址处,而低位字节存储在高地址处;在小端序中,高位字节存储在高地址处,而低位字节存储在低地址处。

在网络通信过程中,通常使用的是大端序。这是因为早期的网络硬件大多采用了 Motorola 处理器,而 Motorola 处理器使用的是大端序。此外,大多数网络协议规定了网络字节序必须为大端序。

因此,在进行网络编程时,需要将主机字节序转换为网络字节序,也就是将数据从本地字节序转换为大端序。可以使用诸如 htonl、htons、ntohl 和 ntohs 等函数来实现字节序转换操作。

综上所述,网络字节序的主要作用是统一不同计算机间的数据表示方式,以保证数据在网络中的正确传输和解析。

如何区分本机字节序

如何区分本机字节序,可以通过判断低地址存储的数据是否为低字节数据,如果是则为小端,否则为大端,下面写一段代码讲述这个逻辑

  1. #include <iostream>
  2. using namespace std;
  3. // 判断当前系统的字节序是大端序还是小端序
  4. bool is_big_endian() {
  5. int num = 1;
  6. if (*(char*)&num == 1) {
  7. // 当前系统为小端序
  8. return false;
  9. } else {
  10. // 当前系统为大端序
  11. return true;
  12. }
  13. }
  14. int main() {
  15. int num = 0x12345678;
  16. char* p = (char*)&num;
  17. cout << "原始数据:" << hex << num << endl;
  18. if (is_big_endian()) {
  19. cout << "当前系统为大端序" << endl;
  20. cout << "字节序为:";
  21. for (int i = 0; i < sizeof(num); i++) {
  22. cout << hex << (int)*(p + i) << " ";
  23. }
  24. cout << endl;
  25. } else {
  26. cout << "当前系统为小端序" << endl;
  27. cout << "字节序为:";
  28. for (int i = sizeof(num) - 1; i >= 0; i--) {
  29. cout << hex << (int)*(p + i) << " ";
  30. }
  31. cout << endl;
  32. }
  33. return 0;
  34. }

在上述代码中,使用了一个 is_big_endian() 函数来判断当前系统的字节序是否为大端序。该函数通过创建一个整型变量 num,并将其最低位设置为 1,然后通过指针强制转换成字符指针,判断第一个字节是否为 1 来判断当前系统的字节序。

在 main 函数中,定义了一个整型变量 num,并将其初始化为 0x12345678。接着,使用 char* 类型的指针 p 来指向 num 的地址。然后,通过判断当前系统的字节序来输出 num 的字节序。

如果当前系统为大端序,则按照原始顺序输出各个字节;如果当前系统为小端序,则需要逆序输出各个字节。

例如,如果当前系统为大端序,则输出结果为:

  1. 原始数据:12345678
  2. 当前系统为大端序
  3. 字节序为:12 34 56 78

如果当前系统为小端序,则输出结果为:

  1. 原始数据:12345678
  2. 当前系统为小端序
  3. 字节序为:78 56 34 12

以上是 C++ 中实现大端字节序和小端字节序的示例。画个图表示大端和小端字节序区别。

大端模式

https://cdn.llfc.club/1683784349101.jpg

小端模式

https://cdn.llfc.club/1683785023436.jpg

服务器使用网络字节序

为保证字节序一致性,网络传输使用网络字节序,也就是大端模式。
在 boost::asio 库中,可以使用 boost::asio::detail::socket_ops::host_to_network_long() 和 boost::asio::detail::socket_ops::host_to_network_short() 函数将主机字节序转换为网络字节序。具体方法如下:

  1. #include <boost/asio.hpp>
  2. #include <iostream>
  3. int main()
  4. {
  5. uint32_t host_long_value = 0x12345678;
  6. uint16_t host_short_value = 0x5678;
  7. uint32_t network_long_value = boost::asio::detail::socket_ops::host_to_network_long(host_long_value);
  8. uint16_t network_short_value = boost::asio::detail::socket_ops::host_to_network_short(host_short_value);
  9. std::cout << "Host long value: 0x" << std::hex << host_long_value << std::endl;
  10. std::cout << "Network long value: 0x" << std::hex << network_long_value << std::endl;
  11. std::cout << "Host short value: 0x" << std::hex << host_short_value << std::endl;
  12. std::cout << "Network short value: 0x" << std::hex << network_short_value << std::endl;
  13. return 0;
  14. }

上述代码中,使用了 boost::asio::detail::socket_ops::host_to_network_long() 和 boost::asio::detail::socket_ops::host_to_network_short() 函数将主机字节序转换为网络字节序。

host_to_network_long() 函数将一个 32 位无符号整数从主机字节序转换为网络字节序,返回转换后的结果。host_to_network_short() 函数将一个 16 位无符号整数从主机字节序转换为网络字节序,返回转换后的结果。

在上述代码中,分别将 32 位和 16 位的主机字节序数值转换为网络字节序,并输出转换结果。需要注意的是,在使用这些函数时,应该确保输入参数和返回结果都是无符号整数类型,否则可能会出现错误。
同样的道理,我们只需要在服务器发送数据时,将数据长度转化为网络字节序,在接收数据时,将长度转为本机字节序。
在服务器的HandleRead函数里,添加对data_len的转换,将网络字节转为本地字节序

  1. short data_len = 0;
  2. memcpy(&data_len, _recv_head_node->_data, HEAD_LENGTH);
  3. //网络字节序转化为本地字节序
  4. data_len=boost::asio::detail::socket_ops::network_to_host_short(data_len);
  5. cout << "data_len is " << data_len << endl;

在服务器的发送数据时会构造消息节点,构造消息节点时,将发送长度由本地字节序转化为网络字节序

  1. MsgNode(char * msg, short max_len):_total_len(max_len + HEAD_LENGTH),_cur_len(0){
  2. _data = new char[_total_len+1]();
  3. //转为网络字节序
  4. int max_len_host = boost::asio::detail::socket_ops::host_to_network_short(max_len);
  5. memcpy(_data, &max_len_host, HEAD_LENGTH);
  6. memcpy(_data+ HEAD_LENGTH, msg, max_len);
  7. _data[_total_len] = '\0';
  8. }

客户端也遵循同样的处理。

消息队列控制

发送时我们会将发送的消息放入队列里以保证发送的时序性,每个session都有一个发送队列,因为有的时候发送的频率过高会导致队列增大,所以要对队列的大小做限制,当队列大于指定数量的长度时,就丢弃要发送的数据包,以保证消息的快速收发。

  1. void CSession::Send(char* msg, int max_length) {
  2. std::lock_guard<std::mutex> lock(_send_lock);
  3. int send_que_size = _send_que.size();
  4. if (send_que_size > MAX_SENDQUE) {
  5. cout << "session: " << _uuid << " send que fulled, size is " << MAX_SENDQUE << endl;
  6. return;
  7. }
  8. _send_que.push(make_shared<MsgNode>(msg, max_length));
  9. if (send_que_size>0) {
  10. return;
  11. }
  12. auto& msgnode = _send_que.front();
  13. boost::asio::async_write(_socket, boost::asio::buffer(msgnode->_data, msgnode->_total_len),
  14. std::bind(&CSession::HandleWrite, this, std::placeholders::_1, SharedSelf()));
  15. }

总结

本文介绍了如何使用网络字节序以及为什么使用网络字节序作为网络传输,且为发送队列设置了阈值保证发送数据的高效性。
源码链接https://gitee.com/secondtonone1/boostasio-learn

热门评论

热门文章

  1. vscode搭建windows C++开发环境

    喜欢(596) 浏览(83120)
  2. 聊天项目(28) 分布式服务通知好友申请

    喜欢(507) 浏览(6088)
  3. 使用hexo搭建个人博客

    喜欢(533) 浏览(11857)
  4. Linux环境搭建和编码

    喜欢(594) 浏览(13512)
  5. Qt环境搭建

    喜欢(517) 浏览(24618)

最新评论

  1. protobuf配置和使用 熊二:你可以把dll放到系统目录,也可以配置环境变量,还能把dll丢到lib里
  2. 聊天项目(15) 客户端实现TCP管理者 lkx:已经在&QTcpSocket::readyRead 回调函数中做了处理了的。
  3. 无锁并发队列 TenThousandOne:_head  和 _tail  替换为原子变量。那里pop的逻辑,val = _data[h] 可以移到循环外面吗
  4. 网络编程学习方法和图书推荐 Corleone:啥程度可以找工作
  5. 创建项目和编译 secondtonone1:谢谢支持
  6. 聊天项目(7) visualstudio配置grpc diablorrr:cmake文件得改一下 find_package(Boost REQUIRED COMPONENTS system filesystem),要加上filesystem。在target_link_libraries中也同样加上
  7. boost::asio之socket的创建和连接 项空月:发现一些错别字 :每隔vector存储  是不是是每个. asio::mutable_buffers_1 o或者    是不是多打了个o
  8. 解决博客回复区被脚本注入的问题 secondtonone1:走到现在我忽然明白一个道理,无论工作也好生活也罢,最重要的是开心,即使一份安稳的工作不能给我带来事业上的积累也要合理的舍弃,所以我还是想去做喜欢的方向。
  9. C++ 并发三剑客future, promise和async Yunfei:大佬您好,如果这个线程池中加入的异步任务的形参如果有右值引用,这个commit中的返回类型推导和bind绑定就会出现问题,请问实际工程中,是不是不会用到这种任务,如果用到了,应该怎么解决?
  10. interface应用 secondtonone1:interface是万能类型,但是使用时要转换为实际类型来使用。interface丰富了go的多态特性,也降低了传统面向对象语言的耦合性。
  11. string类 WangQi888888:确实错了,应该是!isspace(sind[index]). 否则不进入循环,还是原来的字符串“some string”
  12. 堆排序 secondtonone1:堆排序非常实用,定时器就是这个原理制作的。
  13. 再谈单例模式 secondtonone1:是的,C++11以后返回局部static变量对象能保证线程安全了。
  14. 利用栅栏实现同步 Dzher:作者你好!我觉得 std::thread a(write_x); std::thread b(write_y); std::thread c(read_x_then_y); std::thread d(read_y_then_x); 这个例子中的assert fail并不会发生,原子变量设定了非relaxed内存序后一个线程的原子变量被写入,那么之后的读取一定会被同步的,c和d线程中只可能同时发生一个z++未执行的情况,最终z不是1就是2了,我测试了很多次都没有assert,请问我这个观点有什么错误,谢谢!
  15. 面试题汇总(一) secondtonone1:看到网络上经常提问的go的问题,做了一下汇总,结合自己的经验给出的答案,如有纰漏,望指正批评。
  16. visual studio配置boost库 一giao里我离giaogiao:请问是修改成这样吗:.\b2.exe toolset=MinGW
  17. 处理网络粘包问题 zyouth: //消息的长度小于头部规定的长度,说明数据未收全,则先将部分消息放到接收节点里 if (bytes_transferred < data_len) { memcpy(_recv_msg_node->_data + _recv_msg_node->_cur_len, _data + copy_len, bytes_transferred); _recv_msg_node->_cur_len += bytes_transferred; ::memset(_data, 0, MAX_LENGTH); _socket.async_read_some(boost::asio::buffer(_data, MAX_LENGTH), std::bind(&CSession::HandleRead, this, std::placeholders::_1, std::placeholders::_2, shared_self)); //头部处理完成 _b_head_parse = true; return; } 把_b_head_parse = true;放在_socket.async_read_some前面是不是更好
  18. 类和对象 陈宇航:支持!!!!
  19. 构造函数 secondtonone1:构造函数是类的基础知识,要着重掌握
  20. 答疑汇总(thread,async源码分析) Yagus:如果引用计数为0,则会执行 future 的析构进而等待任务执行完成,那么看到的输出将是 这边应该不对吧,std::future析构只在这三种情况都满足的时候才回block: 1.共享状态是std::async 创造的(类型是_Task_async_state) 2.共享状态没有ready 3.这个future是共享状态的最后一个引用 这边共享状态类型是“_Package_state”,引用计数即使为0也不应该block啊
  21. Qt 对话框 Spade2077:QDialog w(); //这里是不是不需要带括号
  22. 聊天项目(9) redis服务搭建 pro_lin:redis线程池的析构函数,除了pop出队列,还要free掉redis连接把
  23. Qt MVC结构之QItemDelegate介绍 胡歌-此生不换:gpt, google

个人公众号

个人微信