原文鏈接：http:///?p=8640介紹在本文中，我們將看到如何開發(fā)具有多個(gè)輸出的文本分類模型。我們開發(fā)一個(gè)文本分類模型，該模型可分析文本注釋并預(yù)測與該注釋關(guān)聯(lián)的多個(gè)標(biāo)簽。多標(biāo)簽分類問題實(shí)際上是多個(gè)輸出模型的子集。在本文結(jié)尾，您將能夠?qū)?shù)據(jù)執(zhí)行多標(biāo)簽文本分類。 數(shù)據(jù)集數(shù)據(jù)集包含來自Wikipedia對(duì)話頁編輯的評(píng)論。評(píng)論可以屬于所有這些類別，也可以屬于這些類別的子集，這是一個(gè)多標(biāo)簽分類問題。 現(xiàn)在，我們導(dǎo)入所需的庫并將數(shù)據(jù)集加載到我們的應(yīng)用程序中。以下腳本導(dǎo)入所需的庫：
import pandas as pdimport numpy as npimport reimport matplotlib.pyplot as plt
現(xiàn)在，將數(shù)據(jù)集加載到內(nèi)存中：
toxic_comments = pd.read_csv("/comments.csv")
以下腳本顯示數(shù)據(jù)集的維度，并顯示數(shù)據(jù)集的標(biāo)題：
print(toxic_comments.shape)toxic_comments.head()
輸出： 數(shù)據(jù)集包含159571條記錄和8列。數(shù)據(jù)集的標(biāo)題如下所示：
讓我們刪除所有記錄中任何行包含空值或空字符串的記錄。
filter = toxic_comments["comment_text"] != ""
toxic_comments = toxic_comments[filter]toxic_comments = toxic_comments.dropna()
該comment_text列包含文本注釋。
print(toxic_comments["comment_text"][168])
輸出：
You should be fired, you're a moronic wimp who is too lazy to do research. It makes me sick that people like you exist in this world.
讓我們看一下與此注釋相關(guān)的標(biāo)簽：
print("Toxic:" + str(toxic_comments["toxic"][168]))print("Severe_toxic:" + str(toxic_comments["severe_toxic"][168]))print("Obscene:" + str(toxic_comments["obscene"][168]))print("Threat:" + str(toxic_comments["threat"][168]))print("Insult:" + str(toxic_comments["insult"][168]))print("Identity_hate:" + str(toxic_comments["identity_hate"][168]))
輸出：
Toxic:1
Severe_toxic:0
Obscene:0
Threat:0
Insult:1
Identity_hate:0
我們將首先過濾所有標(biāo)簽或輸出列。
toxic_comments_labels = toxic_comments[["toxic", "severe_toxic", "obscene", "threat", "insult", "identity_hate"]]toxic_comments_labels.head()
輸出：
使用toxic_comments_labels數(shù)據(jù)框，我們將繪制條形圖，來顯示不同標(biāo)簽的總注釋數(shù)。 輸出： 
您可以看到，“有毒”評(píng)論的出現(xiàn)頻率最高，其次是 “侮辱”。 創(chuàng)建多標(biāo)簽文本分類模型創(chuàng)建多標(biāo)簽分類模型的方法有兩種：使用單個(gè)密集輸出層和多個(gè)密集輸出層。 在第一種方法中，我們可以使用具有六個(gè)輸出的單個(gè)密集層，并具有S型激活函數(shù)和二進(jìn)制交叉熵?fù)p失函數(shù)。 在第二種方法中，我們將為每個(gè)標(biāo)簽創(chuàng)建一個(gè)密集輸出層。 具有單輸出層的多標(biāo)簽文本分類模型 在本節(jié)中，我們將創(chuàng)建具有單個(gè)輸出層的多標(biāo)簽文本分類模型。 在下一步中，我們將創(chuàng)建輸入和輸出集。輸入是來自該comment_text列的注釋。 這里我們不需要執(zhí)行任何一鍵編碼，因?yàn)槲覀兊妮敵鰳?biāo)簽已經(jīng)是一鍵編碼矢量的形式。 下一步，我們將數(shù)據(jù)分為訓(xùn)練集和測試集：
我們需要將文本輸入轉(zhuǎn)換為嵌入式向量。 我們將使用GloVe詞嵌入將文本輸入轉(zhuǎn)換為數(shù)字輸入。 以下腳本創(chuàng)建模型。我們的模型將具有一個(gè)輸入層，一個(gè)嵌入層，一個(gè)具有128個(gè)神經(jīng)元的LSTM層和一個(gè)具有6個(gè)神經(jīng)元的輸出層，因?yàn)槲覀冊谳敵鲋杏?個(gè)標(biāo)簽。
LSTM_Layer_1 = LSTM(128)(embedding_layer)dense_layer_1 = Dense(6, activation='sigmoid')(LSTM_Layer_1)model = Model()
讓我們輸出模型摘要：
print(model.summary())
輸出：
_________________________________________________________________
Layer (type) Output Shape Param #
=================================================================
input_1 (InputLayer) (None, 200) 0_________________________________________________________________
embedding_1 (Embedding) (None, 200, 100) 14824300_________________________________________________________________
lstm_1 (LSTM) (None, 128) 117248_________________________________________________________________
dense_1 (Dense) (None, 6) 774
=================================================================Total params: 14,942,322Trainable params: 118,022Non-trainable params: 14,824,300
以下腳本輸出了我們的神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)：
plot_model(model, to_file='model_plot4a.png', show_shapes=True, show_layer_names=True)
輸出：
從上圖可以看到，輸出層僅包含1個(gè)具有6個(gè)神經(jīng)元的密集層?，F(xiàn)在讓我們訓(xùn)練模型： 可以用更多的時(shí)間訓(xùn)練模型，看看結(jié)果是好是壞。 結(jié)果如下：
rain on 102124 samples, validate on 25532 samples
Epoch 1/5
102124/102124 [==============================] - 245s 2ms/step - loss: 0.1437 - acc: 0.9634 - val_loss: 0.1361 - val_acc: 0.9631
Epoch 2/5
102124/102124 [==============================] - 245s 2ms/step - loss: 0.0763 - acc: 0.9753 - val_loss: 0.0621 - val_acc: 0.9788
Epoch 3/5
102124/102124 [==============================] - 243s 2ms/step - loss: 0.0588 - acc: 0.9800 - val_loss: 0.0578 - val_acc: 0.9802
Epoch 4/5
102124/102124 [==============================] - 246s 2ms/step - loss: 0.0559 - acc: 0.9807 - val_loss: 0.0571 - val_acc: 0.9801
Epoch 5/5
102124/102124 [==============================] - 245s 2ms/step - loss: 0.0528 - acc: 0.9813 - val_loss: 0.0554 - val_acc: 0.9807
現(xiàn)在讓我們在測試集中評(píng)估模型：
print("Test Score:", score[0])print("Test Accuracy:", score[1])
輸出：
31915/31915 [==============================] - 108s 3ms/step
Test Score: 0.054090796736467786
Test Accuracy: 0.9810642735274182
我們的模型實(shí)現(xiàn)了約98％的精度 。
最后，我們將繪制訓(xùn)練和測試集的損失和準(zhǔn)確度，以查看我們的模型是否過擬合。
plt.title('model loss')plt.ylabel('loss')plt.xlabel('epoch')plt.legend(['train','test'], loc='upper left')plt.show()
輸出：
您可以看到模型在驗(yàn)證集上沒有過擬合。 具有多個(gè)輸出層的多標(biāo)簽文本分類模型 在本節(jié)中，我們將創(chuàng)建一個(gè)多標(biāo)簽文本分類模型，其中每個(gè)輸出標(biāo)簽將具有一個(gè) 輸出密集層。讓我們首先定義預(yù)處理功能：
def preprocess_text(sen):
# 刪除標(biāo)點(diǎn)符號(hào)和數(shù)字
# 單字符刪除
# 刪除多個(gè)空格
sentence = re.sub(r'\s+', ' ', sentence)return sentence
第二步是為模型創(chuàng)建輸入和輸出。該模型的輸入將是文本注釋，而輸出將是六個(gè)標(biāo)簽。以下腳本創(chuàng)建輸入層和組合的輸出層：
y = toxic_comments[["toxic", "severe_toxic", "obscene", "threat", "insult", "identity_hate"]]
讓我們將數(shù)據(jù)分為訓(xùn)練集和測試集：
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.20, random_state=42)
該y變量包含6個(gè)標(biāo)簽的組合輸出。但是，我們要為每個(gè)標(biāo)簽創(chuàng)建單獨(dú)的輸出層。我們將創(chuàng)建6個(gè)變量，這些變量存儲(chǔ)來自訓(xùn)練數(shù)據(jù)的各個(gè)標(biāo)簽，還有6個(gè)變量，分別存儲(chǔ)測試數(shù)據(jù)的各個(gè)標(biāo)簽值。
下一步是將文本輸入轉(zhuǎn)換為嵌入的向量。
X_train = pad_sequences(X_train, padding='post', maxlen=maxlen)X_test = pad_sequences(X_test, padding='post', maxlen=maxlen)
我們將再次使用GloVe詞嵌入：
embedding_matrix = zeros((vocab_size, 100))
我們的模型將具有一層輸入層，一層嵌入層，然后一層具有128個(gè)神經(jīng)元的LSTM層。LSTM層的輸出將用作6個(gè)密集輸出層的輸入。每個(gè)輸出層具有1個(gè)具有S型激活功能的神經(jīng)元。
以下腳本創(chuàng)建我們的模型： model = Model()
print(model.summary())
輸出：
__________________________________________________________________________________________________
Layer (type) Output Shape Param # Connected to
==================================================================================================
input_1 (InputLayer) (None, 200) 0
__________________________________________________________________________________________________
embedding_1 (Embedding) (None, 200, 100) 14824300 input_1[0][0]
__________________________________________________________________________________________________
lstm_1 (LSTM) (None, 128) 117248 embedding_1[0][0]
__________________________________________________________________________________________________
dense_1 (Dense) (None, 1) 129 lstm_1[0][0]
__________________________________________________________________________________________________
dense_2 (Dense) (None, 1) 129 lstm_1[0][0]
__________________________________________________________________________________________________
dense_3 (Dense) (None, 1) 129 lstm_1[0][0]
__________________________________________________________________________________________________
dense_4 (Dense) (None, 1) 129 lstm_1[0][0]
__________________________________________________________________________________________________
dense_5 (Dense) (None, 1) 129 lstm_1[0][0]
__________________________________________________________________________________________________
dense_6 (Dense) (None, 1) 129 lstm_1[0][0]
==================================================================================================
Total params: 14,942,322
Trainable params: 118,022
Non-trainable params: 14,824,300
以下腳本顯示了我們模型的體系結(jié)構(gòu)：
plot_model(model, to_file='model_plot4b.png', show_shapes=True, show_layer_names=True)
輸出：
您可以看到我們有6個(gè)不同的輸出層。上圖清楚地說明了我們在上一節(jié)中創(chuàng)建的具有單個(gè)輸入層的模型與具有多個(gè)輸出層的模型之間的區(qū)別。 現(xiàn)在讓我們訓(xùn)練模型：
history = model.fit(x=X_train, y=[y1_train, y2_train, y3_train, y4_train, y5_train, y6_train], batch_size=8192, epochs=5, verbose=1, validation_split=0.2)
訓(xùn)練過程和結(jié)果如下所示：
輸出：
Train on 102124 samples, validate on 25532 samples
Epoch 1/5
102124/102124 [==============================] - 24s 239us/step - loss: 3.5116 - dense_1_loss: 0.6017 - dense_2_loss: 0.5806 - dense_3_loss: 0.6150 - dense_4_loss: 0.5585 - dense_5_loss: 0.5828 - dense_6_loss: 0.5730 - dense_1_acc: 0.9029 - dense_2_acc: 0.9842 - dense_3_acc: 0.9444 - dense_4_acc: 0.9934 - dense_5_acc: 0.9508 - dense_6_acc: 0.9870 - val_loss: 1.0369 - val_dense_1_loss: 0.3290 - val_dense_2_loss: 0.0983 - val_dense_3_loss: 0.2571 - val_dense_4_loss: 0.0595 - val_dense_5_loss: 0.1972 - val_dense_6_loss: 0.0959 - val_dense_1_acc: 0.9037 - val_dense_2_acc: 0.9901 - val_dense_3_acc: 0.9469 - val_dense_4_acc: 0.9966 - val_dense_5_acc: 0.9509 - val_dense_6_acc: 0.9901
Epoch 2/5
102124/102124 [==============================] - 20s 197us/step - loss: 0.9084 - dense_1_loss: 0.3324 - dense_2_loss: 0.0679 - dense_3_loss: 0.2172 - dense_4_loss: 0.0338 - dense_5_loss: 0.1983 - dense_6_loss: 0.0589 - dense_1_acc: 0.9043 - dense_2_acc: 0.9899 - dense_3_acc: 0.9474 - dense_4_acc: 0.9968 - dense_5_acc: 0.9510 - dense_6_acc: 0.9915 - val_loss: 0.8616 - val_dense_1_loss: 0.3164 - val_dense_2_loss: 0.0555 - val_dense_3_loss: 0.2127 - val_dense_4_loss: 0.0235 - val_dense_5_loss: 0.1981 - val_dense_6_loss: 0.0554 - val_dense_1_acc: 0.9038 - val_dense_2_acc: 0.9900 - val_dense_3_acc: 0.9469 - val_dense_4_acc: 0.9965 - val_dense_5_acc: 0.9509 - val_dense_6_acc: 0.9900
Epoch 3/5
102124/102124 [==============================] - 20s 199us/step - loss: 0.8513 - dense_1_loss: 0.3179 - dense_2_loss: 0.0566 - dense_3_loss: 0.2103 - dense_4_loss: 0.0216 - dense_5_loss: 0.1960 - dense_6_loss: 0.0490 - dense_1_acc: 0.9043 - dense_2_acc: 0.9899 - dense_3_acc: 0.9474 - dense_4_acc: 0.9968 - dense_5_acc: 0.9510 - dense_6_acc: 0.9915 - val_loss: 0.8552 - val_dense_1_loss: 0.3158 - val_dense_2_loss: 0.0566 - val_dense_3_loss: 0.2074 - val_dense_4_loss: 0.0225 - val_dense_5_loss: 0.1960 - val_dense_6_loss: 0.0568 - val_dense_1_acc: 0.9038 - val_dense_2_acc: 0.9900 - val_dense_3_acc: 0.9469 - val_dense_4_acc: 0.9965 - val_dense_5_acc: 0.9509 - val_dense_6_acc: 0.9900
Epoch 4/5
102124/102124 [==============================] - 20s 198us/step - loss: 0.8442 - dense_1_loss: 0.3153 - dense_2_loss: 0.0570 - dense_3_loss: 0.2061 - dense_4_loss: 0.0213 - dense_5_loss: 0.1952 - dense_6_loss: 0.0493 - dense_1_acc: 0.9043 - dense_2_acc: 0.9899 - dense_3_acc: 0.9474 - dense_4_acc: 0.9968 - dense_5_acc: 0.9510 - dense_6_acc: 0.9915 - val_loss: 0.8527 - val_dense_1_loss: 0.3156 - val_dense_2_loss: 0.0558 - val_dense_3_loss: 0.2074 - val_dense_4_loss: 0.0226 - val_dense_5_loss: 0.1951 - val_dense_6_loss: 0.0561 - val_dense_1_acc: 0.9038 - val_dense_2_acc: 0.9900 - val_dense_3_acc: 0.9469 - val_dense_4_acc: 0.9965 - val_dense_5_acc: 0.9509 - val_dense_6_acc: 0.9900
Epoch 5/5
102124/102124 [==============================] - 20s 197us/step - loss: 0.8410 - dense_1_loss: 0.3146 - dense_2_loss: 0.0561 - dense_3_loss: 0.2055 - dense_4_loss: 0.0213 - dense_5_loss: 0.1948 - dense_6_loss: 0.0486 - dense_1_acc: 0.9043 - dense_2_acc: 0.9899 - dense_3_acc: 0.9474 - dense_4_acc: 0.9968 - dense_5_acc: 0.9510 - dense_6_acc: 0.9915 - val_loss: 0.8501 - val_dense_1_loss: 0.3153 - val_dense_2_loss: 0.0553 - val_dense_3_loss: 0.2069 - val_dense_4_loss: 0.0226 - val_dense_5_loss: 0.1948 - val_dense_6_loss: 0.0553 - val_dense_1_acc: 0.9038 - val_dense_2_acc: 0.9900 - val_dense_3_acc: 0.9469 - val_dense_4_acc: 0.9965 - val_dense_5_acc: 0.9509 - val_dense_6_acc: 0.9900
對(duì)于每個(gè)時(shí)期，我們在輸出中的所有6個(gè)密集層都有 精度 。
現(xiàn)在讓我們評(píng)估模型在測試集上的性能：
print("Test Score:", score[0])print("Test Accuracy:", score[1])
輸出：
31915/31915 [==============================] - 111s 3ms/step
Test Score: 0.8471985269747015
Test Accuracy: 0.31425264998511726
通過多個(gè)輸出層只能達(dá)到31％的精度。
以下腳本繪制了第一密集層的訓(xùn)練和驗(yàn)證集的損失和準(zhǔn)確值。
plt.title('model loss')plt.ylabel('loss')plt.xlabel('epoch')plt.legend(['train','test'], loc='upper left')plt.show()
輸出：
從輸出中可以看到，在第一個(gè)時(shí)期之后，測試（驗(yàn)證）的準(zhǔn)確性并未收斂。 結(jié)論多標(biāo)簽文本分類是最常見的文本分類問題之一。在本文中，我們研究了兩種用于多標(biāo)簽文本分類的深度學(xué)習(xí)方法。在第一種方法中，我們使用具有多個(gè)神經(jīng)元的單個(gè)密集輸出層，其中每個(gè)神經(jīng)元代表一個(gè)標(biāo)簽。 在第二種方法中，我們?yōu)槊總€(gè)帶有一個(gè)神經(jīng)元的標(biāo)簽創(chuàng)建單獨(dú)的密集層。結(jié)果表明，在我們的情況下，具有多個(gè)神經(jīng)元的單個(gè)輸出層比多個(gè)輸出層的效果更好。 
|
