恋恋风辰的官方博客

实现资源断点下载
Posted on 2025-11-13 10:14:49 by 恋恋风辰 | In C++ | 原文链接

客户端断点下载资源

客户端请求下载

在客户端加载本地资源发现不存在的时候，需要请求服务器，获取资源。

如果资源比较大，需要分批下载，也就是支持断点下载。

我们先拿UserInfoPage举例

  1. UserInfoPage::UserInfoPage(QWidget *parent) :
  2.     QWidget(parent),
  3.     ui(new Ui::UserInfoPage)
  4. {
  5.     ui->setupUi(this);
  6.     auto icon = UserMgr::GetInstance()->GetIcon();
  7.     qDebug() << "icon is " << icon ;
  9.     //使用正则表达式检查是否使用默认头像
  10.     QRegularExpression regex("^:/res/head_(\\d+)\\.jpg$");
  11.     QRegularExpressionMatch match = regex.match(icon);
  12.     if (match.hasMatch()) {
  13.         QPixmap pixmap(icon);
  14.         QPixmap scaledPixmap = pixmap.scaled(ui->head_lb->size(), 
  15.             Qt::KeepAspectRatio, Qt::SmoothTransformation); // 将图片缩放到label的大小
  16.         ui->head_lb->setPixmap(scaledPixmap); // 将缩放后的图片设置到QLabel上
  17.         ui->head_lb->setScaledContents(true); // 设置QLabel自动缩放图片内容以适应大小
  18.     }
  19.     else {
  20.         // 如果是用户上传的头像，获取存储目录
  21.         QString storageDir = QStandardPaths::writableLocation(QStandardPaths::AppDataLocation);
  22.         QDir avatarsDir(storageDir + "/avatars");
  23.         // 确保目录存在
  24.         if (avatarsDir.exists()) {
  25.             auto file_name = QFileInfo(icon).fileName();
  26.             QString avatarPath = avatarsDir.filePath(QFileInfo(icon).fileName()); // 获取上传头像的完整路径
  27.             QPixmap pixmap(avatarPath); // 加载上传的头像图片
  28.             if (!pixmap.isNull()) {
  30.                 //判断是否正在下载
  31.                 bool is_loading = UserMgr::GetInstance()->IsDownLoading(file_name);
  32.                 if (is_loading) {
  33.                     qWarning() << "正在下载: " << file_name;
  34.                     //先加载默认的
  35.                     QPixmap pixmap(":/res/head_1.jpg");
  36.                     QPixmap scaledPixmap = pixmap.scaled(ui->head_lb->size(),
  37.                         Qt::KeepAspectRatio, Qt::SmoothTransformation); // 将图片缩放到label的大小
  38.                     ui->head_lb->setPixmap(scaledPixmap); // 将缩放后的图片设置到QLabel上
  39.                     ui->head_lb->setScaledContents(true); // 设置QLabel自动缩放图片内容以适应大小
  40.                     return;
  41.                 }
  43.                 QPixmap scaledPixmap = pixmap.scaled(ui->head_lb->size(),
  44.                     Qt::KeepAspectRatio, Qt::SmoothTransformation); // 将图片缩放到label的大小
  45.                 ui->head_lb->setPixmap(scaledPixmap); // 将缩放后的图片设置到QLabel上
  46.                 ui->head_lb->setScaledContents(true); // 设置QLabel自动缩放图片内容以适应大小
  47.             }
  48.             else {
  49.                 qWarning() << "无法加载上传的头像：" << avatarPath;
  50.                 UserMgr::GetInstance()->AddLabelToReset(avatarPath, ui->head_lb);
  51.                 //先加载默认的
  52.                 QPixmap pixmap(":/res/head_1.jpg");
  53.                 QPixmap scaledPixmap = pixmap.scaled(ui->head_lb->size(),
  54.                     Qt::KeepAspectRatio, Qt::SmoothTransformation); // 将图片缩放到label的大小
  55.                 ui->head_lb->setPixmap(scaledPixmap); // 将缩放后的图片设置到QLabel上
  56.                 ui->head_lb->setScaledContents(true); // 设置QLabel自动缩放图片内容以适应大小
  58.                 //判断是否正在下载
  59.                 bool is_loading = UserMgr::GetInstance()->IsDownLoading(file_name);
  60.                 if (is_loading) {
  61.                     qWarning() << "正在下载: " << file_name;
  62.                     return;
  63.                 }
  64.                 //发送请求获取资源
  65.                 auto download_info = std::make_shared<DownloadInfo>();
  66.                 download_info->_name = file_name;
  67.                 download_info->_current_size = 0;
  68.                 download_info->_seq = 1;
  69.                 download_info->_total_size = 0;
  70.                 download_info->_client_path = avatarPath;
  71.                 //添加文件到管理者
  72.                 UserMgr::GetInstance()->AddDownloadFile(file_name, download_info);
  73.                 //发送消息
  74.                 FileTcpMgr::GetInstance()->SendDownloadInfo(download_info);
  75.             }
  76.         }
  77.         else {
  78.             qWarning() << "头像存储目录不存在：" << avatarsDir.path();
  79.         }
  80.     }
  84.     //获取nick
  85.     auto nick = UserMgr::GetInstance()->GetNick();
  86.     //获取name
  87.     auto name = UserMgr::GetInstance()->GetName();
  88.     //描述
  89.     auto desc = UserMgr::GetInstance()->GetDesc();
  90.     ui->nick_ed->setText(nick);
  91.     ui->name_ed->setText(name);
  92.     ui->desc_ed->setText(desc);
  93.     //连接上
  94.     connect(ui->up_btn, &QPushButton::clicked, this, &UserInfoPage::slot_up_load);
  95. }

如果本地资源不存在，则需要向服务器请求。

封装请求资源接口

判断资源是否正在下载

  1. bool UserMgr::IsDownLoading(QString name) {
  2.     std::lock_guard<std::mutex> lock(_down_load_mtx);
  3.     auto iter = _name_to_download_info.find(name);
  4.     if (iter == _name_to_download_info.end()) {
  5.         return false;
  6.     }
  8.     return true;
  9. }

如果资源加载成功，很可能处于正在下载，所以也要判断一下。

如果资源未加载成功，则需要向服务器下载资源。先讲要下载的资源和要加载资源的空间缓存起来。

  1. void UserMgr::AddLabelToReset(QString path, QLabel* label)
  2. {
  3.     auto iter = _name_to_reset_labels.find(path);
  4.     if (iter == _name_to_reset_labels.end()) {
  5.         QList<QLabel*> list;
  6.         list.append(label);
  7.         _name_to_reset_labels.insert(path, list);
  8.         return;
  9.     }
  11.     iter->append(label);
  12. }

结构如下图

image-20251004125019778

更新正在下载资源

  1. void UserMgr::AddDownloadFile(QString name, 
  2.     std::shared_ptr<DownloadInfo> file_info) {
  3.     std::lock_guard<std::mutex> lock(_down_load_mtx);
  4.     _name_to_download_info[name] = file_info;
  5. }

发送下载请求

  1. void FileTcpMgr::SendDownloadInfo(std::shared_ptr<DownloadInfo> download) {
  2.     QJsonObject jsonObj;
  3.     jsonObj["name"] = download->_name;
  4.     jsonObj["seq"] = download->_seq;
  5.     jsonObj["trans_size"] = 0;
  6.     jsonObj["total_size"] = 0;
  7.     jsonObj["token"] = UserMgr::GetInstance()->GetToken();
  8.     jsonObj["uid"] = UserMgr::GetInstance()->GetUid();
  9.     jsonObj["client_path"] = download->_client_path;
  11.     QJsonDocument doc(jsonObj);
  12.     auto send_data = doc.toJson();
  14.     SendData(ID_DOWN_LOAD_FILE_REQ, send_data);
  15. }

接收服务器回传

  1.   _handlers.insert(ID_DOWN_LOAD_FILE_RSP, [this](ReqId id, int len, QByteArray data) {
  2.         Q_UNUSED(len);
  3.         qDebug() << "handle id is " << id << " data is " << data;
  4.         // 将QByteArray转换为QJsonDocument
  5.         QJsonDocument jsonDoc = QJsonDocument::fromJson(data);
  7.         // 检查转换是否成功
  8.         if (jsonDoc.isNull()) {
  9.             qDebug() << "Failed to create QJsonDocument.";
  10.             return;
  11.         }
  13.         QJsonObject jsonObj = jsonDoc.object();
  15.         if (!jsonObj.contains("error")) {
  16.             int err = ErrorCodes::ERR_JSON;
  17.             qDebug() << "parse create private chat json parse failed " << err;
  18.             return;
  19.         }
  21.         int err = jsonObj["error"].toInt();
  22.         if (err != ErrorCodes::SUCCESS) {
  23.             qDebug() << "get create private chat failed, error is " << err;
  24.             return;
  25.         }
  27.         qDebug() << "Receive download file info rsp success";
  29.         QString base64Data = jsonObj["data"].toString();
  30.         QString clientPath = jsonObj["client_path"].toString();
  31.         int seq = jsonObj["seq"].toInt();
  32.         bool is_last = jsonObj["is_last"].toBool();
  33.         QString total_size_str = jsonObj["total_size"].toString();
  34.         qint64  total_size = total_size_str.toLongLong(nullptr);
  35.         QString current_size_str = jsonObj["current_size"].toString();
  36.         qint64  current_size = current_size_str.toLongLong(nullptr);
  37.         QString name = jsonObj["name"].toString();
  39.         auto file_info = UserMgr::GetInstance()->GetDownloadInfo(name);
  40.         if (file_info == nullptr) {
  41.             qDebug() << "file: " << name << " not found";
  42.             return;
  43.         }
  45.         file_info->_current_size = current_size;
  46.         file_info->_total_size = total_size;
  48.         //Base64解码
  49.         QByteArray decodedData = QByteArray::fromBase64(base64Data.toUtf8());
  50.         QFile file(clientPath);
  52.         // 根据 seq 决定打开模式
  53.         QIODevice::OpenMode mode;
  54.         if (seq == 1) {
  55.             // 第一个包，覆盖写入
  56.             mode = QIODevice::WriteOnly;
  57.         }
  58.         else {
  59.             // 后续包，追加写入
  60.             mode = QIODevice::WriteOnly | QIODevice::Append;
  61.         }
  63.         if (!file.open(mode)) {
  64.             qDebug() << "Failed to open file for writing:" << clientPath;
  65.             qDebug() << "Error:" << file.errorString();
  66.             return;
  67.         }
  70.         qint64 bytesWritten = file.write(decodedData);
  71.         if (bytesWritten != decodedData.size()) {
  72.             qDebug() << "Failed to write all data. Written:" << bytesWritten
  73.                 << "Expected:" << decodedData.size();
  74.         }
  76.         file.close();
  78.         qDebug() << "Successfully wrote" << bytesWritten << "bytes to file";
  79.         qDebug() << "Progress:" << current_size << "/" << total_size
  80.             << "(" << (current_size * 100 / total_size) << "%)";
  82.         if (is_last) {
  83.             qDebug() << "File download completed:" << clientPath;
  84.             UserMgr::GetInstance()->RmvDownloadFile(name);
  85.             //发送信号通知主界面重新加载label
  86.             emit sig_reset_label_icon(clientPath);
  87.         }
  88.         else {
  89.             //继续请求
  90.             file_info->_seq = seq+1;
  91.             FileTcpMgr::GetInstance()->SendDownloadInfo(file_info);
  92.         }
  93.     });
  1. 判断seq是否为1，如果为1则说明新的文件，需要创建并保存
  2. 如果seq不为1，则说明是续传文件，更新追加就可以了
  3. 如果is_last字段为true，说明是最后一个包，那么移除缓存的下载信息，同时将信息发送到主界面更新图标

更新页面逻辑

在ChatDialog界面中响应这个信号

  1. //重置label icon
  2. connect(FileTcpMgr::GetInstance().get(), &FileTcpMgr::sig_reset_label_icon, this, &ChatDialog::slot_reset_icon);

槽函数处理

  1. void ChatDialog::slot_reset_icon(QString path) {
  2.     UserMgr::GetInstance()->ResetLabelIcon(path);
  3. }

UserMgr中封装重置icon逻辑

  1. void UserMgr::ResetLabelIcon(QString path)
  2. {
  3.    auto iter =  _name_to_reset_labels.find(path);
  4.    if (iter == _name_to_reset_labels.end()) {
  5.        return;
  6.    }
  8.    for (auto ele_iter = iter.value().begin(); ele_iter != iter.value().end(); ele_iter++) {
  9.        QPixmap pixmap(path); // 加载上传的头像图片
  10.        if (!pixmap.isNull()) {
  11.            QPixmap scaledPixmap = pixmap.scaled((*ele_iter)->size(), Qt::KeepAspectRatio, Qt::SmoothTransformation);
  12.            (*ele_iter)->setPixmap(scaledPixmap);
  13.            (*ele_iter)->setScaledContents(true);
  14.        }
  15.        else {
  16.            qWarning() << "无法加载上传的头像：" << path;
  17.        }
  18.    }
  20.    _name_to_reset_labels.erase(iter);
  21. }

测试效果

服务器断点传输逻辑

增加下载worker

  1. class DownloadWorker {
  2. public:
  3.     DownloadWorker();
  4.     ~DownloadWorker();
  5.     void PostTask(std::shared_ptr<DownloadTask> task);
  6. private:
  7.     void task_callback(std::shared_ptr<DownloadTask>);
  8.     std::thread _work_thread;
  9.     std::queue<std::shared_ptr<DownloadTask>> _task_que;
  10.     std::atomic<bool> _b_stop;
  11.     std::mutex  _mtx;
  12.     std::condition_variable _cv;
  13. };

DownloadWorker处理逻辑和之前的FileWorker类似

  1. DownloadWorker::DownloadWorker() :_b_stop(false)
  2. {
  3.     _work_thread = std::thread([this]() {
  4.         while (!_b_stop) {
  5.             std::unique_lock<std::mutex> lock(_mtx);
  6.             _cv.wait(lock, [this]() {
  7.                 if (_b_stop) {
  8.                     return true;
  9.                 }
  11.                 if (_task_que.empty()) {
  12.                     return false;
  13.                 }
  15.                 return true;
  16.                 });
  18.             if (_b_stop) {
  19.                 break;
  20.             }
  22.             auto task = _task_que.front();
  23.             _task_que.pop();
  24.             task_callback(task);
  25.         }
  26.     });
  27. }
  29. DownloadWorker::~DownloadWorker()
  30. {
  31.     _b_stop = true;
  32.     _cv.notify_one();
  33.     _work_thread.join();
  34. }
  36. void DownloadWorker::PostTask(std::shared_ptr<DownloadTask> task)
  37. {
  38.     {
  39.         std::lock_guard<std::mutex> lock(_mtx);
  40.         _task_que.push(task);
  41.     }
  43.     _cv.notify_one();
  44. }
  46. void DownloadWorker::task_callback(std::shared_ptr<DownloadTask> task)
  47. {
  48.     // 解码
  49.     auto file_path_str = task->_file_path;
  51.     //std::cout << "file_path_str is " << file_path_str << std::endl;
  53.     boost::filesystem::path file_path(file_path_str);
  55.     // 获取完整文件名（包含扩展名）
  56.     std::string filename = file_path.filename().string();
  57.     Json::Value result;
  58.     result["error"] = ErrorCodes::Success;
  60.     if (!boost::filesystem::exists(file_path)) {
  61.         std::cerr << "文件不存在: " << file_path_str << std::endl;
  62.         result["error"] = ErrorCodes::FileNotExists;
  63.         task->_callback(result);
  64.         return;
  65.     }
  67.     std::ifstream infile(file_path_str, std::ios::binary);
  68.     if (!infile) {
  69.         std::cerr << "无法打开文件进行读取。" << std::endl;
  70.         result["error"] = ErrorCodes::FileReadPermissionFailed;
  71.         task->_callback(result);
  72.         return;
  73.     }
  75.     std::shared_ptr<FileInfo> file_info = nullptr;
  77.     if (task->_seq == 1) {
  78.         // 获取文件大小
  79.         infile.seekg(0, std::ios::end);
  80.         std::streamsize file_size = infile.tellg();
  81.         infile.seekg(0, std::ios::beg);
  82.         //如果为空，则创建FileInfo 构造数据存储
  83.         file_info = std::make_shared<FileInfo>();
  84.         file_info->_file_path_str = file_path_str;
  85.         file_info->_name = filename;
  86.         file_info->_seq = 1;
  88.         file_info->_total_size = file_size;
  89.         file_info->_trans_size = 0;
  90.         // 立即保存到 Redis，覆盖旧数据，设置过期时间
  91.         RedisMgr::GetInstance()->SetDownLoadInfo(filename, file_info);
  92.         std::cout << "[新下载] 文件: " << filename
  93.             << ", 大小: " << file_size << " 字节" << std::endl;
  94.     }
  95.     else {
  96.         //断点续传，从 Redis 获取历史信息
  97.         file_info = RedisMgr::GetInstance()->GetDownloadInfo(filename);
  98.         if (file_info == nullptr) {
  99.             // Redis 中没有信息（可能过期了）
  100.             std::cerr << "断点续传失败，Redis 中无下载信息: " << filename << std::endl;
  101.             result["error"] = ErrorCodes::RedisReadErr; 
  102.             task->_callback(result);
  103.             infile.close();
  104.             return;
  105.         }
  107.         // 验证序列号是否匹配
  108.         if (task->_seq != file_info->_seq) {
  109.             std::cerr << "序列号不匹配，期望: " << file_info->_seq
  110.                 << ", 实际: " << task->_seq << std::endl;
  111.             result["error"] = ErrorCodes::FileSeqInvalid;
  112.             task->_callback(result);
  113.             infile.close();
  114.             return;
  115.         }
  117.         std::cout << "[续传] 文件: " << filename
  118.             << ", seq: " << task->_seq
  119.             << ", 进度: " << file_info->_trans_size
  120.             << "/" << file_info->_total_size << std::endl;
  121.     }
  123.     // 计算当前偏移量
  124.     std::streamsize offset = ((std::streamsize)task->_seq - 1) * MAX_FILE_LEN;
  125.     if (offset >= file_info->_total_size) {
  126.         std::cerr << "偏移量超出文件大小。" << std::endl;
  127.         result["error"] = ErrorCodes::FileOffsetInvalid;
  128.         task->_callback(result);
  129.         infile.close();
  130.         return;
  131.     }
  133.     // 定位到指定偏移量
  134.     infile.seekg(offset);
  136.     // 读取最多2048字节
  137.     char buffer[MAX_FILE_LEN];
  138.     infile.read(buffer, MAX_FILE_LEN);
  139.     //获取read实际读取多少字节
  140.     std::streamsize bytes_read = infile.gcount();
  142.     if (bytes_read <= 0) {
  143.         std::cerr << "读取文件失败。" << std::endl;
  144.         result["error"] = ErrorCodes::FileReadFailed;
  145.         task->_callback(result);
  146.         infile.close();
  147.         return;
  148.     }
  150.     // 将读取的数据进行base64编码
  151.     std::string data_to_encode(buffer, bytes_read);
  152.     std::string encoded_data = base64_encode(data_to_encode);
  154.     // 检查是否是最后一个包
  155.     std::streamsize current_pos = offset + bytes_read;
  156.     bool is_last = (current_pos >= file_info->_total_size);
  158.     // 设置返回结果
  159.     result["data"] = encoded_data;
  160.     result["seq"] = task->_seq;
  161.     result["total_size"] = std::to_string(file_info->_total_size);
  162.     result["current_size"] = std::to_string(current_pos);
  163.     result["is_last"] = is_last;
  165.     infile.close();
  167.     if (is_last) {
  168.         std::cout << "文件读取完成: " << file_path_str << std::endl;
  169.         RedisMgr::GetInstance()->DelDownLoadInfo(filename);
  170.     }
  171.     else {
  172.         //更新信息
  173.         file_info->_seq++;
  174.         file_info->_trans_size = offset + bytes_read;
  175.         //更新redis
  176.         RedisMgr::GetInstance()->SetDownLoadInfo(filename, file_info);
  177.     }
  179.     if (task->_callback) {
  180.         task->_callback(result);
  181.     }
  183. }

在FileSystem中创建worker

  1. FileSystem::FileSystem()
  2. {
  3.     for (int i = 0; i < FILE_WORKER_COUNT; i++) {
  4.         _file_workers.push_back(std::make_shared<FileWorker>());
  5.     }
  7.     for (int i = 0; i < DOWN_LOAD_WORKER_COUNT; i++) {
  8.         _down_load_worker.push_back(std::make_shared<DownloadWorker>());
  9.     }
  10. }

测试效果

将头像资源从本地删除后，重新登录时或者切换页面会引发资源重新加载，向服务器请求资源后再设置到界面显示。

image-20251004153501602

热门评论
点击查看更多评论 没有更多评论了,点击收起 展开评论

热门文章

  1. Linux环境搭建和编码
    喜欢(594) 浏览(15350)

  2. 使用hexo搭建个人博客
    喜欢(533) 浏览(13711)

  3. MarkDown在线编辑器
    喜欢(514) 浏览(15557)

  4. vscode搭建windows C++开发环境
    喜欢(596) 浏览(96518)

  5. 聊天项目(28) 分布式服务通知好友申请
    喜欢(507) 浏览(7021)

最新评论

  1. 解决博客回复区被脚本注入的问题 secondtonone1:走到现在我忽然明白一个道理，无论工作也好生活也罢，最重要的是开心，即使一份安稳的工作不能给我带来事业上的积累也要合理的舍弃，所以我还是想去做喜欢的方向。
  2. 处理网络粘包问题 zyouth: //消息的长度小于头部规定的长度，说明数据未收全，则先将部分消息放到接收节点里 if (bytes_transferred < data_len) { memcpy(_recv_msg_node->_data + _recv_msg_node->_cur_len, _data + copy_len, bytes_transferred); _recv_msg_node->_cur_len += bytes_transferred; ::memset(_data, 0, MAX_LENGTH); _socket.async_read_some(boost::asio::buffer(_data, MAX_LENGTH), std::bind(&CSession::HandleRead, this, std::placeholders::_1, std::placeholders::_2, shared_self)); //头部处理完成 _b_head_parse = true; return; } 把_b_head_parse = true;放在_socket.async_read_some前面是不是更好
  3. C++ 线程池原理和实现 mzx2023:两种方法解决，一种是改排序算法，就是当线程耗尽的时候，使用普通递归，另一种是当在线程池commit的时候，判断线程是否耗尽，耗尽的话就直接当前线程执行task
  4. 利用指针和容器实现文本查询 越今朝:应该添加一个过滤功能以解决部分单词无法被查询的问题: eg: "I am a teacher."中的teacher无法被查询，因为在示例代码中teacher.被解释为一个单词从而忽略了teacher本身。
  5. 无锁并发队列 TenThousandOne:_head  和 _tail  替换为原子变量。那里pop的逻辑，val = _data[h] 可以移到循环外面吗

其他链接

  1. GitHub
  2. 个人博客
  3. 博客园
  4. CSDN

个人公众号

个人微信