MediaCrawler，輕松爬取抖音小紅書(shū)評(píng)論數(shù)據(jù)！

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：MediaCrawler，輕松爬取抖音小紅書(shū)評(píng)論數(shù)據(jù)！
關(guān)鍵字：快手,,數(shù)據(jù),環(huán)境,帖子
文章來(lái)源：大數(shù)據(jù)文摘
內(nèi)容字?jǐn)?shù)：3242字

內(nèi)容摘要：

大數(shù)據(jù)文摘受權(quán)轉(zhuǎn)載自法納斯特
今天給大家介紹一個(gè)Python實(shí)戰(zhàn)的項(xiàng)目，MediaCrawler。
可以實(shí)現(xiàn)小紅書(shū)，抖音， 快手， B站， 微博。
目前能抓取小紅書(shū)、抖音、快手、B站、微博的視頻、圖片、評(píng)論、點(diǎn)贊、轉(zhuǎn)發(fā)等信息。項(xiàng)目地址：
https://github.com/NanmiCoder/MediaCrawler
原理：利用playwright搭橋，保留登錄成功后的上下文瀏覽器環(huán)境，通過(guò)執(zhí)行JS表達(dá)式獲取一些加密參數(shù) 通過(guò)使用此方式，免去了復(fù)現(xiàn)核心加密JS代碼，逆向難度大大降低。
下面小F就來(lái)介紹下如何使用~
首先使用conda創(chuàng)建虛擬環(huán)境，Python版本3.9。
激活環(huán)境后，安裝相關(guān)的依賴。
#創(chuàng)建conda環(huán)境condacreate–nameMediaCrawlerpython=3.9#激活環(huán)境condaactivateMediaCrawler#安裝相關(guān)依賴pipinstall-rrequirements.txt-ihttps://pypi.tuna.tsinghua.edu.cn/simple#安裝playwright瀏覽器驅(qū)動(dòng)playwrig

原文鏈接：MediaCrawler，輕松爬取抖音小紅書(shū)評(píng)論數(shù)據(jù)！

聯(lián)系作者

文章來(lái)源：大數(shù)據(jù)文摘
作者微信：BigDataDigest
作者簡(jiǎn)介：普及數(shù)據(jù)思維，傳播數(shù)據(jù)文化