抖音爬虫
今天一下午都在弄抖音的数据提取,一开始是想着抓包分析表单,通过js逆向弄出数据来的。但是表单有两个数据mstoken和X-Bogus两个参数的获取很复杂。最开始还抱有侥幸心理,希望不会影响到我的爬虫,emmm........ 然后觉得应该是我目前无法解决的js逆向问题,就转头去用selenium了(selenium做爬虫,真正的可见即可爬)。或许是之前拿selenium做的不是数据的抓取,更多解决二维码,跳转页面这些操作,这次拿selenium处理抖音数据之后,很有收获。 最后一开始是存到mysql数据库中的,但是考虑到可能要给其他人使用我的代码,不一定配有mysql数据库,所以就去现学了存到excel表中.....又是一把子艰辛泪....好在在凌晨1点前还是搞定了抖音的数据提取。 明天康康有没有时间写一下这个抖音数据爬取的过程和心得吧,有的话就发,没有就是我太懒了。( •̀ ω •́ )✧
