【原】如何利用 C# 爬取帶 Token 驗證的網(wǎng)站數(shù)據(jù)？

老馬的程序人生 2020-08-17

展開全文

在對文本數(shù)據(jù)的情感分析中，基于情感詞典的方法是最簡單也是最常用的一種了。

它的大體思路如下：

對文檔分詞，找出文檔中的情感詞、否定詞以及程度副詞，然后判斷每個情感詞之前是否有否定詞及程度副詞，將它之前的否定詞和程度副詞劃分為一個組，如果有否定詞將情感詞的情感權(quán)值乘以-1，如果有程度副詞就乘以程度副詞的程度值，最后所有組的得分加起來，大于 0 的歸于正向，小于 0 的歸于負(fù)向。

這兩天，學(xué)校的一個團隊讓我?guī)兔ε廊∧尘W(wǎng)站的兩份帶有權(quán)值的情感詞典。

第一份是“臺灣大學(xué)情感詞匯庫”，有 11086 個帶有權(quán)值的情感詞。

第二份是“萌泰情感詞匯庫”，有 27466 個帶有權(quán)值的情感詞。

分析這個網(wǎng)站，我們發(fā)現(xiàn)每一個網(wǎng)絡(luò)請求都需要攜帶 Token，即身份認(rèn)證。

所以，我們需要先通過登陸請求，獲取到該用戶的 Token，之后的每次請求帶上該 Token 才能爬取到該網(wǎng)站的數(shù)據(jù)。

為了快速完成爬取這兩份情感詞典的任務(wù)，我使用了兩套開源代碼，RestSharp 和 Newtonsoft.Json。

RestSharp

利用該開源代碼可以得到網(wǎng)絡(luò)請求之后的 Json 數(shù)據(jù)，其下載地址如下：

https://github.com/restsharp/RestSharp

Newtonsoft.Json

利用該開源代碼可以對得到的 Json 數(shù)據(jù)進行反序列化，得到 C# 對應(yīng)的類，其下載地址如下：

https://github.com/JamesNK/Newtonsoft.Json

Newtonsoft.Json 這套開源代碼，我在如何利用 C# 爬取「貓眼電影專業(yè)版：票房」數(shù)據(jù)！以及如何做一款「桌面版百度翻譯」軟件？中使用過，以前網(wǎng)絡(luò)請求部分都是通過 HttpWebRequest直接寫的，這次偷懶使用了 RestSharp 這套來源代碼。

如果大家對這兩套開源代碼感興趣，給我留言，我再來寫幾篇圖文介紹它們，下面來看看爬取情感詞典的代碼。

1. 構(gòu)造接收 Token 的類 UserInfor。

public class Token
{
    public string token;
}

public class UserInfor
{
    public Token rt_info;
}

2. 得到登陸用戶的Token數(shù)據(jù)。

public string GetToken(string baseUrl,string username,string password)
{
    string value = "{\"username\":\"" + username + "\",\"password\":\"" + password + "\"}";

    RestClient client = new RestClient(baseUrl);
    RestRequest request = new RestRequest(Method.POST);
    request.AddHeader("cache-control", "no-cache");
    request.AddHeader("Content-Type", "application/json;charset=UTF-8");
    request.AddParameter("application/json", value, ParameterType.RequestBody);

    IRestResponse response = client.Execute(request);
    StringReader sr = new StringReader(response.Content);
    JsonTextReader jsonReader = new JsonTextReader(sr);
    JsonSerializer serializer = new JsonSerializer();

    UserInfor user = serializer.Deserialize<UserInfor>(jsonReader);
    return user.rt_info.token;
}

3. 構(gòu)造接收“情感詞典”的類 JsonWord。

public class Word
{
    public string word;
    public string score;
    public override string ToString()
    {
        return word + "," + score;
    }
}

public class MapInfo
{
    public List<Word> words;
}

public class JsonWord
{
    public MapInfo rt_mapinfo;
}

4. 得到所需要的情感詞典。

public List<Word> GetDictionary(string baseUrl,string token,int dictionaryId)
{
    string value = "{\"dictionaryId\":" + dictionaryId + ",\"name\":\"\",\"pageNow\":1,\"pageSize\":200000}";
    RestClient client = new RestClient(baseUrl);

    RestRequest request = new RestRequest(Method.POST);
    request.AddHeader("cache-control", "no-cache");
    request.AddHeader("Content-Type", "application/json");
    request.AddHeader("Authorization", token);
    request.AddParameter("application/json",value, ParameterType.RequestBody);

    IRestResponse response = client.Execute(request);
    StringReader sr = new StringReader(response.Content);
    JsonTextReader jsonReader = new JsonTextReader(sr);
    JsonSerializer serializer = new JsonSerializer();

    JsonWord r = serializer.Deserialize<JsonWord>(jsonReader);
    return r.rt_mapinfo.words;
}

5. 輸出感情詞典。

static void SaveToFile(List<Word> lst)
{
    string str = string.Empty;
    for (int i = 0; i < lst.Count; i++)
    {
        str += lst[i] + "\r\n";
    }

    string temp = Environment.GetEnvironmentVariable("TEMP");
    temp += "\\words.txt";
    StreamWriter sw = File.CreateText(temp);
    sw.Write(str);

    Process.Start(temp);
    sw.Close();
}

包含 11086 個詞匯以及評分的“臺灣大學(xué)情感詞匯”爬取結(jié)果如下：

包含 27466 個詞匯以及評分的“蒙泰感情詞匯”爬取結(jié)果如下：

通過以上的介紹，如何利用 C# 爬取帶 Token 驗證的網(wǎng)站數(shù)據(jù)？就介紹完了，如果大家發(fā)現(xiàn)所要爬取的網(wǎng)站不能直接得到HTML DOM TREE，這個網(wǎng)站或許就是利用前后端分離技術(shù)完成的，如果這樣的網(wǎng)站每一次請求都需要帶Token，可以嘗試使用我今天介紹的方法。好了，今天就到這里吧！See You！