博客
【洞幺邦】Python爬取指定微博用戶(hù)所有內(nèi)容
|
通過(guò)Python爬取微博指定用戶(hù)的所有內(nèi)容，下面帶領(lǐng)大家一步一步爬取微博用戶(hù)（以微博用戶(hù)：https://weibo.com/u/6175460875 為例子）的所有微博內(nèi)容。運(yùn)行環(huán)境如下：電腦系統(tǒng)：Windows10，Python版本：3.8，IDE：Pycharm2020.1，瀏覽器：谷歌瀏覽器。爬蟲(chóng)程序最后一次測(cè)試時(shí)間為2021年6月21日。
下面我們分步驟講述爬取和分析處理過(guò)程，想跟著我學(xué)技術(shù)的可以一起看看，想使用代碼的可以直接跳到最后復(fù)制我的代碼。
**1. 使用瀏覽器獲取請(qǐng)求頭部信息**
打開(kāi)谷歌瀏覽器并且訪問(wèn)https://weibo.com/u/6175460875（其他微博頁(yè)面也可以），按F12打開(kāi)開(kāi)發(fā)者工具箱，如圖所示步驟復(fù)制Cookie和User-Agent信息留著備用：
我獲取到的信息是：
```c
"Cookie":"SUB=_2AkMXjLNHf8NxqwJRmfoRzWPmaox3zAzEieKh0EKcJRMxHRl-yT9jqn0ntRB6PAydqHF_kMSfPUJZ_Z3jMWJIHBy6j19j; SUBP=0033WrSXqPxfM72-Ws9jqgMF55529P9D9WWmnxcrYjVlNsejfucT6rxp; _s_tentry=passport.weibo.com; Apache=8321982383917.372.1624259696759; SINAGLOBAL=8321982383917.372.1624259696759; ULV=1624259696790:1:1:1:8321982383917.372.1624259696759:"
```
```c
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.114 Safari/537.36 Edg/91.0.864.54"
```
**2. **獲取用戶(hù)主頁(yè)網(wǎng)頁(yè)源碼****
在這里我們使用的是urllib.request模塊來(lái)獲取源碼，注意，使用Python獲取源碼時(shí)，需要進(jìn)行適當(dāng)偽裝，否則對(duì)方服務(wù)器會(huì)以為我們是爬蟲(chóng)程序而返回一個(gè)無(wú)用信息，偽裝的方法就是把Python爬蟲(chóng)程序的請(qǐng)求頭部信息改成第一步從瀏覽器獲取到的請(qǐng)求頭部信息，我們直接封裝一個(gè)函數(shù)用來(lái)獲取網(wǎng)頁(yè)源碼：
```python
def getHttpCode(url, coding="utf-8", method="GET"):
#獲取網(wǎng)頁(yè)源碼的函數(shù)，傳入的url為地址
import urllib.parse
import urllib.request
data = bytes(urllib.parse.urlencode({"name": "Ningbei"}), encoding=coding)
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.114 Safari/537.36 Edg/91.0.864.54",
"Cookie":"SUB=_2AkMXjLNHf8NxqwJRmfoRzWPmaox3zAzEieKh0EKcJRMxHRl-yT9jqn0ntRB6PAydqHF_kMSfPUJZ_Z3jMWJIHBy6j19j; SUBP=0033WrSXqPxfM72-Ws9jqgMF55529P9D9WWmnxcrYjVlNsejfucT6rxp; _s_tentry=passport.weibo.com; Apache=8321982383917.372.1624259696759; SINAGLOBAL=8321982383917.372.1624259696759; ULV=1624259696790:1:1:1:8321982383917.372.1624259696759:"
}
response = urllib.request.Request(url=url, data=data, headers=headers, method=method)
response = urllib.request.urlopen(response).read().decode(coding)
return response
```
3.**通過(guò)網(wǎng)頁(yè)源碼獲取用戶(hù)信息**
```python
print(getHttpCode("https://weibo.com/u/6175460875"))#輸出獲取到的源碼
```
獲取到的網(wǎng)頁(yè)源碼太長(zhǎng)我就不全發(fā)出來(lái)了，只發(fā)有用部分進(jìn)項(xiàng)講解。
在源碼前面可以看到頁(yè)面信息，后續(xù)步驟中需要用到的信息是oid（用uid變量保存），domain（用同名變量保存），page_id（用pageid變量保存）,我們使用正則表達(dá)式可以把這些信息讀取出來(lái)，封裝一個(gè)getUserInfo函數(shù)來(lái)獲取上述信息，函數(shù)返回一個(gè)包含用戶(hù)信息的字典。
```python
def getUserInfo(url):
# 獲取用戶(hù)id等信息
import re
result = getHttpCode(url)
domain = re.findall("\$CONFIG\['domain'\]='([0-9]+)';", result, re.DOTALL)
uid = re.findall("\$CONFIG\['oid'\]='([0-9]+)';", result, re.DOTALL)
pageid = domain[0] + uid[0]#觀察網(wǎng)頁(yè)源碼發(fā)現(xiàn)，pageid就是domain和uid拼接得來(lái)
result = {'uid': uid[0], 'pageid': pageid, 'domain': domain[0]}
return result
```
**4. **分析網(wǎng)頁(yè)源碼，提取有效數(shù)據(jù)****
正常情況下，未登錄的用戶(hù)只能看到第一頁(yè)的數(shù)據(jù)，通過(guò)小編的長(zhǎng)時(shí)間分析，得出以下重要結(jié)論，可以在未登錄情況下獲取所有信息（分析過(guò)程比較復(fù)雜，略）：有效獲取微博的內(nèi)容地址：https://weibo.com/p/aj/v6/mblog/mbloglist?
微博內(nèi)容分多頁(yè)顯示，同一頁(yè)(page)會(huì)分3次顯示，需提交3個(gè)ajax請(qǐng)求，每個(gè)請(qǐng)求包含domain,id,ajwvr,pagebar,page,pre_page共6個(gè)參數(shù)才能抓取完整，domain,id,ajwvr為固定值（同一個(gè)用戶(hù)）參數(shù)，其他參數(shù)規(guī)律如下：
當(dāng)當(dāng)前頁(yè)面為第i頁(yè)時(shí)，page=i;
第i頁(yè)第一部分的頁(yè)面參數(shù)為pagebar=0,pre_page=i-1
第i頁(yè)第二部分頁(yè)面參數(shù)為pagebar=0,page=i,pre_page=i
第i頁(yè)第三部分頁(yè)面參數(shù)為pagebar=1,page=i,pre_page=i
例如訪問(wèn)第2頁(yè)第2部分的數(shù)據(jù)則提交鏈接：https://weibo.com/p/aj/v6/mblog/mbloglist?ajwvr=6&domain=100505&id=1005055705886600&pagebar=0&page=1&pre_page=1
服務(wù)器返回的結(jié)果是json格式的數(shù)據(jù)，我們使用json.loads函數(shù)解析得到一個(gè)字典，字典里面 ‘data’的值就是http代碼，再使用BeautifulSoup模塊進(jìn)行解析，即可得到一個(gè)列表，里面是微博內(nèi)容信息。代碼如下：
```python
def getData(url):
#url='https://weibo.com/p/aj/v6/mblog/mbloglist?ajwvr=6&domain=100505&id=1005055705886600&pagebar=0&page=1&pre_page=1'
import re
import json
from bs4 import BeautifulSoup
result = getHttpCode(url)
result = json.loads(result)
result = result['data']
soup = BeautifulSoup(result, "html.parser")
soup = soup.find_all(class_='WB_text W_f14')
result = []
for i in soup:
if i['node-type'] == 'feed_list_content':
res = re.sub("<.*?>", "", str(i)).strip()
result.append(res)
return result
```
運(yùn)行結(jié)果如下：
**5.整合數(shù)據(jù)**
這步比較簡(jiǎn)單，直接上代碼：
```python
def getResult(url):
#爬取指定微博用戶(hù)所有內(nèi)容核心函數(shù)，url為微博用戶(hù)主頁(yè)鏈接
url = url.split("?")[0]
userInfo=getUserInfo(url)
base='https://weibo.com/p/aj/v6/mblog/mbloglist?ajwvr=6&domain={}&id={}'.format(userInfo['domain'], userInfo['pageid'] )
result=[];
for page in range(10):
#當(dāng)期循環(huán)是獲取微博用戶(hù)前10頁(yè)的所有數(shù)據(jù)，獲取多少頁(yè)就改成多大的值即可（數(shù)據(jù)過(guò)大也沒(méi)問(wèn)題，系統(tǒng)沒(méi)有爬取到內(nèi)容會(huì)自動(dòng)退出循環(huán)的。）
list=getData(base + "&pagebar=0&page=" + str(page + 1) + "&pre_page=" + str(page))
if len(list)==0:
#list為空表示已經(jīng)沒(méi)有可爬取的內(nèi)容了，直接break
break
result.extend(list)
result.extend(getData(base + "&pagebar=0&page=" + str(page + 1) + "&pre_page=" + str(page+1)))
result.extend(getData(base + "&pagebar=1&page=" + str(page + 1) + "&pre_page=" + str(page+1)))
return result
```
到了第5步就已經(jīng)完成爬取了，返回的是一個(gè)列表，列表內(nèi)容就是指定用戶(hù)的微博內(nèi)容。下面我們把所有代碼整合在一起如下：
```python
# -*- coding=utf-8 -*-
import re
import json
import urllib.request
import urllib.parse
from bs4 import BeautifulSoup
def getHttpCode(url, coding="utf-8", method="GET"):
#獲取網(wǎng)頁(yè)源碼
data = bytes(urllib.parse.urlencode({"name": "Ningbei"}), encoding=coding)
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.114 Safari/537.36 Edg/91.0.864.54",
"Cookie":"SUB=_2AkMXjLNHf8NxqwJRmfoRzWPmaox3zAzEieKh0EKcJRMxHRl-yT9jqn0ntRB6PAydqHF_kMSfPUJZ_Z3jMWJIHBy6j19j; SUBP=0033WrSXqPxfM72-Ws9jqgMF55529P9D9WWmnxcrYjVlNsejfucT6rxp; _s_tentry=passport.weibo.com; Apache=8321982383917.372.1624259696759; SINAGLOBAL=8321982383917.372.1624259696759; ULV=1624259696790:1:1:1:8321982383917.372.1624259696759:"
}
response = urllib.request.Request(url=url, data=data, headers=headers, method=method)
response = urllib.request.urlopen(response).read().decode(coding)
return response
def getUserInfo(url):
#獲取用戶(hù)id等信息
result = getHttpCode(url)
domain=re.findall("\$CONFIG\['domain'\]='([0-9]+)';",result,re.DOTALL)
uid=re.findall("\$CONFIG\['oid'\]='([0-9]+)';",result,re.DOTALL)
pageid=domain[0]+uid[0]
result={'uid': uid[0], 'pageid': pageid, 'domain': domain[0]}
return result
def getData(url):
result = getHttpCode(url)
result = json.loads(result)
result = result['data']
soup = BeautifulSoup(result, "html.parser")
soup = soup.find_all(class_='WB_text W_f14')
result = []
for i in soup:
if i['node-type'] == 'feed_list_content':
res = re.sub("<.*?>", "", str(i)).strip()
result.append(res)
return result
def getResult(url):
#爬取指定微博用戶(hù)所有內(nèi)容核心函數(shù)，url為微博用戶(hù)主頁(yè)鏈接
url = url.split("?")[0]
userInfo=getUserInfo(url)
base='https://weibo.com/p/aj/v6/mblog/mbloglist?ajwvr=6&domain={}&id={}'.format(userInfo['domain'], userInfo['pageid'] )
result=[];
for page in range(10):
#同一頁(yè)(page)會(huì)分3次顯示,需提交三個(gè)請(qǐng)求才能抓取完整，domain,id,ajwvr為固定參數(shù)，當(dāng)當(dāng)前頁(yè)面為第i頁(yè)時(shí)，page=i;第i頁(yè)第一部分的頁(yè)面參數(shù)為pagebar=0,page=i,pre_page=i-1,第i頁(yè)第二部分頁(yè)面參數(shù)為pagebar=0,page=i,pre_page=i,第i頁(yè)第三部分頁(yè)面參數(shù)為pagebar=1,page=i,pre_page=i
list=getData(base + "&pagebar=0&page=" + str(page + 1) + "&pre_page=" + str(page))
if len(list)==0:
#list為空表示已經(jīng)沒(méi)有可爬取的內(nèi)容了，直接break
break
result.extend(list)
result.extend(getData(base + "&pagebar=0&page=" + str(page + 1) + "&pre_page=" + str(page+1)))
result.extend(getData(base + "&pagebar=1&page=" + str(page + 1) + "&pre_page=" + str(page+1)))
return result
def main():
result=getResult("https://weibo.com/u/6175460875")
for i in result:
print(i)
print("-"*200)
print("前10頁(yè)（需要爬取更全數(shù)據(jù)去修改getResult函數(shù)里面for循環(huán)的范圍）共"+str(len(result))+"條微博")
main()
```
