【原】Python應(yīng)用 | 我喜歡看什么美劇(一)

算法與編程之美 2020-08-08

展開全文

《權(quán)利的游戲》、《天賦異稟》等耳熟能詳?shù)拿绖?，面?duì)如此繁多的美劇，此時(shí)不禁會(huì)問自己，我喜歡看什么美劇呢？

這是一個(gè)非常難以回答的問題，原因在于不同的人會(huì)有不同的偏好。為了簡(jiǎn)化問題的求解，我們將嘗試用Python語言進(jìn)行數(shù)據(jù)分析來回答"我喜歡看什么美劇"，先限定下主題就是我自己。

為了搞明白我喜歡看什么美劇，前提是要知道目前有哪些美劇，然后才能在這些美劇中根據(jù)條件篩選出我喜歡看的。所以第一件事要做的就是采集基本的數(shù)據(jù)。

Python實(shí)現(xiàn)數(shù)據(jù)采集需要用到的第三方庫有requests和bs4，其中requests用來處理HTTP請(qǐng)求，bs4中的BeautifulSoup用來解析下載的HTML代碼從中得到想要的數(shù)據(jù)。

1. 安裝第三方庫。

利用包管理軟件pip來完成第三方庫的安裝。

pip install requestspip install bs4

2. 利用requests庫下載HTML代碼。

requsts庫是一種非常方便的處理HTTP請(qǐng)求的第三方庫，只需要一行代碼就可以實(shí)現(xiàn)HTML網(wǎng)頁的下載。

html = requests.get('https://www./search.php?searchtype=5&tid=2', verify=False).content

代碼執(zhí)行的結(jié)果是：

打印的就是返回的HTML代碼。

3. 利用BeautifulSoup解析HTML。

有了網(wǎng)頁的HTML代碼接下來就需要從這些代碼中提取需要的、有價(jià)值的信息，這個(gè)工具就是BeautifulSoup來完成。我們將從代碼中提取到美劇名稱、URL地址以及評(píng)分?jǐn)?shù)據(jù)。

soup = BeautifulSoup(html, 'html.parser')for item in soup.select('div.hy-video-list li > a'): row = edict() row.video_name = item['title'] row.video_url = item['href'] row.video_type = i

score_tag = item.select_one('span.score') if score_tag is not None: row.video_score = score_tag.text print(row)

執(zhí)行結(jié)果為：

4. 批處理所有列表。

前面處理的是一頁的列表，接下來利用循環(huán)處理所有的列表數(shù)據(jù)。

for i in tqdm(range(1, 112)): url = 'https://www./search.php?page={}&searchtype=5&tid=2'.format(i) soup = BeautifulSoup(requests.get(url, verify=False).content, 'html.parser') for item in soup.select('div.hy-video-list li > a'): row = edict() row.video_name = item['title'] row.video_url = item['href']

score_tag = item.select_one('span.score') if score_tag is not None: row.video_score = score_tag.text print(row)

至此便完成了網(wǎng)站所有美劇數(shù)據(jù)的采集，總共有美劇數(shù)量3972部。

結(jié)語

為了搞清楚"我喜歡看什么美劇"這一重大問題，提出了一種利用Python編程語言進(jìn)行數(shù)據(jù)分析的方法，本文主要完成了數(shù)據(jù)分析的第一步數(shù)據(jù)采集的過程，采集了某網(wǎng)站所有的美劇基本信息，上面的代碼可以看到目前這些數(shù)據(jù)都只是通過簡(jiǎn)單的print(row)的方式進(jìn)行打印，并未進(jìn)行任何數(shù)據(jù)保存，那么應(yīng)該如何存儲(chǔ)這些數(shù)據(jù)呢？

預(yù)知后事如何，歡迎持續(xù)關(guān)注。

where2go 團(tuán)隊(duì)

微信號(hào)：算法與編程之美

一個(gè)專注于分享算法思想的公眾號(hào)！

溫馨提示：點(diǎn)擊頁面下方“留言”發(fā)表評(píng)論，期待您的參與！期待您的轉(zhuǎn)發(fā)！