学习通视频反爬解析与批量下载方法

本文以 C语言程序设计基础 公开课为例，公开课与加入学习的课程爬取方式不太一样，但底层的请求逻辑是一样的。 个人爬虫开发思想： 在浏览器的原生Javascript环境中运行JS代码以实现数据抓取。与传统Python爬虫相比，能够基本跳过环境的逆向、还原时间。 1.…

    88    2025-04-07    0 阅读更多

对抗抖音X-Bogus、msToken新思路

0.前言 抖音为了对抗爬虫等非法访问行为，所有的网站均采用了JSVMP代码保护方案，以确保请求合法性及数据包完整有效性。所有的操作均在浏览器内部使用JS生成，若无法逆向X-Bogus及msToken算法，又或是自行补全参数生成环境将会耗费开发者大量时间。 虽然我们（一…

    2,075    2024-08-10    0 阅读更多