|
但是，你可以從哪里獲得這些數(shù)據(jù)？現(xiàn)在你看到的很多研究論文都使用專有的數(shù)據(jù)集，而它們通常不會(huì)公開(kāi)。如果你想學(xué)習(xí)并應(yīng)用你新掌握的技能，從哪里獲得數(shù)據(jù)集成了問(wèn)題。 如果你有這個(gè)問(wèn)題，別擔(dān)心，我們策劃了一系列公開(kāi)可用的數(shù)據(jù)集列表以供所有人使用。 在本文中，我們列出了一系列高質(zhì)量的數(shù)據(jù)集，每個(gè)深度學(xué)習(xí)愛(ài)好者都應(yīng)該試著使用它們改進(jìn)技能。完成處理這些數(shù)據(jù)集后，你就可以成為一名更好的數(shù)據(jù)科學(xué)家，而且你從中獲得的知識(shí)將在你的職業(yè)生涯中發(fā)揮無(wú)可估量的價(jià)值。我們還收錄了最新的技術(shù)成果（state-of-the-art ，SOTA)，供你參考并改進(jìn)模型。 更多干貨內(nèi)容請(qǐng)關(guān)注微信公眾號(hào)“AI 前線”，（ID：ai-front） 首先，這些數(shù)據(jù)集的規(guī)模巨大！所以請(qǐng)確保你有網(wǎng)絡(luò)連接順暢，下載空間足夠大。 這些數(shù)據(jù)集可以用于各種目的，你可以將之應(yīng)用于各種深度學(xué)習(xí)技術(shù)，磨練技能，了解如何識(shí)別和構(gòu)建每個(gè)問(wèn)題，或和大家分享你的成果。 這些數(shù)據(jù)集分為三類： 圖像處理、自然語(yǔ)言處理和音頻 / 語(yǔ)音處理。 開(kāi)始探索吧！ https://datahack./contest/practice-problem-identify-the-digits/ MNIST 是最受歡迎的深度學(xué)習(xí)數(shù)據(jù)集之一。這是一個(gè)手寫(xiě)數(shù)字?jǐn)?shù)據(jù)集，包含一組 60,000 個(gè)示例的訓(xùn)練集和一個(gè)包含 10,000 個(gè)示例的測(cè)試集。這個(gè)數(shù)據(jù)庫(kù)在實(shí)際數(shù)據(jù)中嘗試學(xué)習(xí)技術(shù)和深度識(shí)別模式方面非常好用，同時(shí)可以在數(shù)據(jù)預(yù)處理花費(fèi)最少的時(shí)間和精力。 大?。?50 MB 記錄數(shù)量：10 種類別的 70,000 張圖片 SOTA：膠囊之間的動(dòng)態(tài)路由（https:///pdf/1710.09829.pdf） http:///#home COCO 是一個(gè)用于物體檢測(cè)、分割和字幕的大型、豐富的數(shù)據(jù)集，它有幾個(gè)特點(diǎn)：
大小：?25 GB（壓縮） 記錄數(shù)量：330K 張圖像，80 個(gè)對(duì)象類別，每幅圖像 5 個(gè)字幕，25 萬(wàn)個(gè)關(guān)鍵點(diǎn) SOTA：Mask R-CNNhttps:///pdf/1703.06870.pdf http://www./ ImageNet 是根據(jù) WordNet 層次結(jié)構(gòu)組織的圖像數(shù)據(jù)集。WordNet 包含大約 100,000 個(gè)短語(yǔ)，ImageNet 平均用 1000 張圖像來(lái)說(shuō)明每個(gè)短語(yǔ)。 大?。?150GB 記錄數(shù)量：圖像總數(shù)：約 1,500,000；每張圖像都有多個(gè)邊界框和相應(yīng)的類標(biāo)簽。 SOTA：深度神經(jīng)網(wǎng)絡(luò)的聚合殘差轉(zhuǎn)換（Aggregated Residual Transformations for Deep Neural Networks）https:///pdf/1611.05431.pdf https://github.com/openimages/dataset Open Images 是一個(gè)包含近 900 萬(wàn)個(gè)圖像 URL 的數(shù)據(jù)集。這些數(shù)千萬(wàn)種類別的圖像已經(jīng)用圖像級(jí)標(biāo)簽邊框進(jìn)行了注釋。該數(shù)據(jù)集包含 9,011,219 張圖像的訓(xùn)練集，41,260 張圖像的驗(yàn)證集以及 125,436 張圖像的測(cè)試集。 大?。?00 GB（壓縮） 記錄數(shù)量：9,011,219 張超過(guò) 5k 個(gè)標(biāo)簽的圖像 SOTA：Resnet 101 圖像分類模型（在 V2 數(shù)據(jù)上訓(xùn)練）：模型檢查點(diǎn)，檢查點(diǎn)自述文件，推理代碼。https://www./blog/2018/03/comprehensive-collection-deep-learning-datasets/ http://www./ VQA 是一個(gè)包含有關(guān)圖像的開(kāi)放式問(wèn)題的數(shù)據(jù)集，這些問(wèn)題需要理解視覺(jué)和語(yǔ)言。該數(shù)據(jù)集的一些有趣的特點(diǎn)是：
大?。?5 GB（壓縮） 記錄數(shù)量：265,016 張圖片，每張圖片至少有 3 個(gè)問(wèn)題，每個(gè)問(wèn)題有 10 個(gè)合理答案 SOTA：視覺(jué)問(wèn)答的技巧和訣竅：從 2017 年挑戰(zhàn)賽中學(xué)習(xí)https:///abs/1708.02711 http://ufldl./housenumbers/ 這是用于開(kāi)發(fā)對(duì)象檢測(cè)算法的真實(shí)世界圖像數(shù)據(jù)集。它需要很少的數(shù)據(jù)預(yù)處理，與本列表中提到的 MNIST 數(shù)據(jù)集類似，但具有更多標(biāo)簽數(shù)據(jù)（超過(guò) 600,000 張圖像）。這些數(shù)據(jù)是從谷歌街景中查看的房屋號(hào)碼中收集的。 大?。?.5 GB 記錄數(shù)量：10 種類別的 6,30,420 張圖片 SOTA：虛擬對(duì)抗訓(xùn)練的分布平滑https:///pdf/1507.00677.pdf http://www.cs./~kriz/cifar.html 這仍然是一個(gè)圖像分類數(shù)據(jù)集，它由 10 個(gè)類的 60,000 張圖像組成（每個(gè)類在上圖中表示為一行），總共有 50,000 張訓(xùn)練圖像和 10,000 張測(cè)試圖像。數(shù)據(jù)集分為 6 個(gè)部分，其中有 5 個(gè)訓(xùn)練集和 1 個(gè)測(cè)試集。每個(gè)數(shù)據(jù)集包含 10,000 張圖像。 大?。?70 MB 記錄數(shù)量：10 種類別的 60,000 張圖片 SOTA：ShakeDrop 正則化https:///pdf?id=S1NHaMW0b https://github.com/zalandoresearch/fashion-mnist Fashion-MNIST 包含 60,000 個(gè)訓(xùn)練圖像和 10,000 個(gè)測(cè)試圖像，是一個(gè)類似 MNIST 的時(shí)尚產(chǎn)品數(shù)據(jù)庫(kù)。開(kāi)發(fā)人員認(rèn)為 MNIST 已被過(guò)度使用，因此他們創(chuàng)建了該數(shù)據(jù)集作為 MNIST 的直接替代品。每張圖片都以灰度顯示，并與 10 個(gè)類別的標(biāo)簽相關(guān)聯(lián)。 大?。?0 MB 記錄數(shù)量：10 種類別的 70,000 張圖片 SOTA：隨機(jī)擦除數(shù)據(jù)增強(qiáng)https:///abs/1708.04896 http://ai./~amaas/data/sentiment/ 這是電影愛(ài)好者夢(mèng)寐以求的數(shù)據(jù)集，可用于二元情感分類，并包含比之前此領(lǐng)域所有數(shù)據(jù)集都更多的數(shù)據(jù)。除了訓(xùn)練和測(cè)試評(píng)估示例之外，還有更多未標(biāo)記的數(shù)據(jù)可供使用。原始文本和預(yù)處理的單詞格式包也包括在內(nèi)。 大小：80 MB 記錄數(shù)量：25,000 個(gè)用于訓(xùn)練的高度兩極化的電影評(píng)論，25,000 個(gè)評(píng)論用于測(cè)試 SOTA：學(xué)習(xí)結(jié)構(gòu)化文本表示https:///abs/1705.09207 https://archive.ics./ml/datasets/Twenty Newsgroups 顧名思義，該數(shù)據(jù)集包含有關(guān)新聞組的信息。為了管理這個(gè)數(shù)據(jù)集，創(chuàng)建者從 20 個(gè)不同的新聞組中獲取了 1000 篇 Usenet 文章。這些文章具有典型的特征，如主題行、簽名和引用。 大?。?0 MB 記錄數(shù)量：來(lái)自 20 個(gè)新聞組的 20,000 條信息 SOTA：用于文本分類的極深卷積網(wǎng)絡(luò)https:///abs/1606.01781 http://help./for-students/ Sentiment140 是一個(gè)可用于情感分析的數(shù)據(jù)集。作為一個(gè)流行的數(shù)據(jù)集，它可以幫你進(jìn)行一場(chǎng)完美的 NLP 旅程。數(shù)據(jù)中的情緒已經(jīng)被預(yù)先刪除，最終的數(shù)據(jù)集具有以下 6 個(gè)特征：
大?。?0 MB（壓縮） 記錄數(shù)量：160,000 條推文 SOTA：用最先進(jìn)的情緒模型數(shù)據(jù)集評(píng)估最新的情感數(shù)據(jù)集http://www./anthology/W17-5202 https://wordnet./ 我們?cè)谏厦娴?ImageNet 數(shù)據(jù)集中提到，WordNet 是一個(gè)包含英文 Synsets（同義詞集合）的大型數(shù)據(jù)庫(kù)。 Synsets 是指描述不同的概念的同義詞的集合。WordNet 的結(jié)構(gòu)使其成為非常有用的 NLP 工具。 大?。?0 MB 記錄數(shù)量：通過(guò)少量“概念關(guān)系”將 117,000 個(gè)同義詞集與其他同義詞集相關(guān)聯(lián)。 SOTA：Wordnet：現(xiàn)狀和前景https:///pdf/R/R11/R11-1097.pdf https://www./dataset 這是 Yelp 為了學(xué)習(xí)目的而發(fā)布的一個(gè)開(kāi)源數(shù)據(jù)集。它由數(shù)百萬(wàn)用戶評(píng)論、商業(yè)屬性和來(lái)自多個(gè)大都市地區(qū)的超過(guò) 20 萬(wàn)張照片組成。此數(shù)據(jù)集是全球 NLP 挑戰(zhàn)賽常用的數(shù)據(jù)集。 大?。?.66 GB JSON，2.9 GB SQL 和 7.5 GB 的照片（全部壓縮） 記錄數(shù)：5,200,000 條評(píng)論，174,000 條商業(yè)屬性，20 萬(wàn)張照片和 11 個(gè)大都市區(qū) SOTA：Attentive Convolutionhttps:///pdf/1710.00519.pdf https://corpus./wiki/ 該數(shù)據(jù)集是維基百科全文的集合。它包含來(lái)自 400 多萬(wàn)篇文章，將近 19 億字。這個(gè) NLP 數(shù)據(jù)集之所以強(qiáng)大，是因?yàn)槟憧梢酝ㄟ^(guò)單詞、短語(yǔ)或段落本身的一部分進(jìn)行搜索。 大?。?0 MB 記錄數(shù)：4,400,000 篇文章，19 億字 SOTA：打破 Softmax 瓶頸：高級(jí) RNN 語(yǔ)言模型https:///pdf/1711.03953.pdf http://u.cs./~koppel/BlogCorpus.htm 此數(shù)據(jù)集包含從 blogger.com 收集的數(shù)千名博主收集的博客帖子。每個(gè)博客都作為一個(gè)單獨(dú)的文件，至少包含 200 個(gè)常用英語(yǔ)單詞。 大小：300 MB 記錄數(shù)：681,288 個(gè)帖子，超過(guò) 1.4 億字 SOTA：Character-level and Multi-channel Convolutional Neural Networks for Large-scale Authorship Attributionhttps:///pdf/1609.06686.pdf http:///wmt18/index.html 該數(shù)據(jù)集包含四種歐洲語(yǔ)言的訓(xùn)練數(shù)據(jù)，它的任務(wù)是改進(jìn)當(dāng)前的翻譯方法。你可以進(jìn)行以下語(yǔ)言互譯：
大?。?15 GB 記錄數(shù)量：約 30,000,000 個(gè)句子及其翻譯 SOTA：Attention Is All You Needhttps:///abs/1706.03762 這個(gè)數(shù)據(jù)集也是受 MNIST 數(shù)據(jù)集的啟發(fā)而創(chuàng)建的，以識(shí)別音頻樣本中的數(shù)字。這是一個(gè)開(kāi)放的數(shù)據(jù)集，所以希望隨著人們貢獻(xiàn)更多的樣本，它會(huì)不斷地增長(zhǎng)。目前，它包含以下特點(diǎn)：
大?。?0 MB 記錄數(shù)量：1500 個(gè)音頻樣本 SOTA：使用采樣級(jí) CNN 架構(gòu)的基于原始波形的音頻分類https:///pdf/1712.00866.pdf https://github.com/mdeff/fma FMA 是用于音樂(lè)分析的數(shù)據(jù)集。該數(shù)據(jù)集由全長(zhǎng)和 HQ 音頻，預(yù)先計(jì)算的特征以及音軌和用戶級(jí)元數(shù)據(jù)組成。它是一個(gè)開(kāi)源數(shù)據(jù)集，用于評(píng)估 MIR 中的幾個(gè)任務(wù)。以下是該數(shù)據(jù)集連同其包含的 csv 文件列表：
大小：?1000 GB 記錄數(shù)量：約 100,000 個(gè)軌道 SOTA：學(xué)習(xí)從音頻中識(shí)別音樂(lè)風(fēng)格https:///pdf/1803.05337.pdf http://mtg./ismir2004/contest/tempoContest/node5.html 該數(shù)據(jù)集包含舞曲音頻文件，以真實(shí)音頻格式進(jìn)行了許多舞蹈風(fēng)格的一些特征摘錄。以下是該數(shù)據(jù)集的一些特征：
大?。?4GB（壓縮） 記錄數(shù)量：約 700 個(gè)音頻樣本 SOTA：A Multi-Model Approach To Beat Tracking Considering Heterogeneous Music Styles https://pdfs./0cc2/952bf70c84e0199fcf8e58a8680a7903521e.pdf 百萬(wàn)歌曲數(shù)據(jù)集（Million Song Dataset） https://labrosa.ee./millionsong/ 百萬(wàn)歌曲數(shù)據(jù)集是一個(gè)包含一百萬(wàn)首當(dāng)代流行音樂(lè)曲目的免費(fèi)音頻特征和元數(shù)據(jù)集合。其目的是：
該數(shù)據(jù)集的核心是一百萬(wàn)首歌曲的特征分析和元數(shù)據(jù)，它不包含任何音頻，只包含派生的功能。示例音頻可以通過(guò)使用哥倫比亞大學(xué)提供的代碼從 7digital 等服務(wù)中獲取。 大?。?80 GB 記錄數(shù)量：一百萬(wàn)首歌曲！ SOTA：Preliminary Study on a Recommender System for the Million Songs Dataset Challengehttp://www.ke./events/PL-12/papers/08-aiolli.pdf http://www./12/ 該數(shù)據(jù)集是包含約 1000 小時(shí)時(shí)長(zhǎng)英語(yǔ)語(yǔ)音的大型語(yǔ)料庫(kù)。這些數(shù)據(jù)來(lái)自 LibriVox 項(xiàng)目的有聲讀物，已被合理分割并分配。如果你想找一個(gè)起點(diǎn)，請(qǐng)查看在 kaldi-asr.org 上訓(xùn)練好的聲學(xué)模型和語(yǔ)言模型，而 http://www./11/ 適用于評(píng)估。 大小：?60 GB 記錄數(shù)：1000 小時(shí)的語(yǔ)音 SOTA：Letter-Based Speech Recognition with Gated ConvNetshttps:///abs/1712.09444 http://www.robots./~vgg/data/voxceleb/ VoxCeleb 是一個(gè)大型的語(yǔ)音識(shí)別數(shù)據(jù)集。它包含從 YouTube 視頻上收集的 1,251 位名人的約 10 萬(wàn)條語(yǔ)音。數(shù)據(jù)大致是性別均衡的（男性占 55％）。這些名人的口音、職業(yè)和年齡千差萬(wàn)別，開(kāi)發(fā)和測(cè)試集之間沒(méi)有重疊。識(shí)別出這些聲音屬于哪位明星可能是一個(gè)有趣的嘗試。 大?。?50 MB 記錄數(shù)：1,251 位名人的 100,000 條語(yǔ)音 SOTA：VoxCeleb: a large-scale speaker identification datasethttps://www.robots./~vgg/publications/2017/Nagrani17/nagrani17.pdf 為了你們更好地訓(xùn)練，我們做了一份現(xiàn)實(shí)生活中會(huì)遇到的問(wèn)題的列表。在這部分，我們列出了在我們的 DataHack 平臺(tái)上遇到的深度學(xué)習(xí)實(shí)踐問(wèn)題。 https://datahack./contest/practice-problem-twitter-sentiment-analysis/ 以種族主義和性別歧視為形式的仇恨言論已成為 twitter 的麻煩，把這類推文與其他人隔離是很重要的工作。在這個(gè)實(shí)踐問(wèn)題中，我們提供了既包含正常又有仇恨推言論文的 Twitter 數(shù)據(jù)。作為數(shù)據(jù)科學(xué)家，你的任務(wù)是確定哪些推文是仇恨推文，哪些不是。 大?。? MB 記錄數(shù)量：31,962 條推文 https://datahack./contest/practice-problem-age-detection/ 對(duì)于所有深度學(xué)習(xí)愛(ài)好者來(lái)說(shuō)，這是一個(gè)令人著迷的挑戰(zhàn)。該數(shù)據(jù)集包含數(shù)千個(gè)印度演員的圖像，你的任務(wù)是確定他們的年齡。所有圖像都是手動(dòng)從視頻幀中剪切的，這導(dǎo)致演員的姿勢(shì)、表情、光照、年齡、分辨率、遮擋和妝容的高度不確定性。 大小：48 MB（壓縮） 記錄數(shù)：訓(xùn)練集中的 19,906 幅圖像和測(cè)試集中的 6636 幅圖像 SOTA：深度學(xué)習(xí)——年齡檢測(cè)問(wèn)題的解決方案https://www./blog/2017/06/hands-on-with-deep-learning-solution-for-age-detection-practice-problem/ https://datahack./contest/practice-problem-urban-sound-classification/ 這個(gè)數(shù)據(jù)集包含超過(guò) 8000 個(gè)、10 種類別的來(lái)自城市的聲音片段，旨在介紹常見(jiàn)的音頻處理分類方法。 大?。河?xùn)練集 3GB（壓縮），測(cè)試集 2 GB（壓縮） 記錄數(shù)量：來(lái)自 10 個(gè)種類的 8732 個(gè)來(lái)自城市的標(biāo)注聲音片段（<= 4s） 原文鏈接：https://www./blog/2018/03/comprehensive-collection-deep-learning-datasets/ 如果你喜歡這篇文章，記得給我們留個(gè)言點(diǎn)個(gè)贊，給編輯小哥哥小姐姐們鼓勵(lì)一下吧！ |
|
|
