為了探索AI自動(dòng)生成音效的方法，我“抓”了limber一塊完成了此篇內(nèi)容，給大家介紹算法作曲相關(guān)的技術(shù)，涉及生成藝術(shù)相關(guān)的技術(shù)、產(chǎn)品、體驗(yàn)，著重梳理了核心技術(shù)及創(chuàng)意玩法。 作者們： shadow 跨界設(shè)計(jì)師 / 全棧工程師 / 智能產(chǎn)品架構(gòu)師 /... limber 機(jī)器學(xué)習(xí)研究員 / 古典音樂Composer / Oxford PhD /... 1 機(jī)器能有創(chuàng)造力嗎？ 觀點(diǎn)1 機(jī)器不具有真正意義的「創(chuàng)造力」 有一個(gè)streotype，認(rèn)為「創(chuàng)造力」是人類的獨(dú)有的東西，在愛德華·威爾遜的《創(chuàng)造的起源》一書中提出了創(chuàng)造源自一個(gè)沖動(dòng)。機(jī)器不如人，因?yàn)闄C(jī)器不會(huì)犯錯(cuò)，即使是引入「概率」的AI，假如程序正常，它也不大會(huì)偏離正軌，但人會(huì)，因?yàn)槿水吘共皇菣C(jī)器。 觀點(diǎn)2 「理解力」可以被假裝 在約翰·希爾勒的《Minds, Brains, and Programs》一書中介紹的著名的思想實(shí)驗(yàn)「Chinese Room」（中文屋子）。一個(gè)對(duì)中文一竅不通的，以英語作母語的人被關(guān)閉在一只有兩個(gè)通口的封閉房間中。房間里有一本用英文寫成，從形式上說明中文文字句法和文法組合規(guī)則的手冊(cè)，以及一大堆中文符號(hào)。房外的人不斷向房間內(nèi)遞進(jìn)用中文寫成的問題。房內(nèi)的人便按照手冊(cè)的說明，將中文符號(hào)組合成對(duì)問題的解答，并將答案遞出房間。 約翰·希爾勒認(rèn)為，盡管房里的人甚至可以以假亂真，讓房外的人以為他是中文的母語用戶，然而他壓根不懂中文。而在上面的過程中，房外人所扮演的角色相當(dāng)于程序員，房中人相當(dāng)于計(jì)算機(jī)，而手冊(cè)則相當(dāng)于計(jì)算機(jī)程序。而正如房中人不可能通過手冊(cè)理解中文一樣，計(jì)算機(jī)也不可能通過程序來獲得理解力。 然而房間外的人誤以為機(jī)器具有理解力。 綜合2個(gè)觀點(diǎn)，沒有必要讓機(jī)器具有哲學(xué)意義上的「創(chuàng)造力」，只需要“假裝”具有創(chuàng)造能力就好了。我們放寬對(duì)創(chuàng)造力的定義，將創(chuàng)造定義為：推陳出新。只要數(shù)據(jù)做的好，推陳出新的創(chuàng)造是可以做到的。 2 生成藝術(shù)，數(shù)學(xué)/算法之美 人工智能作曲與生成藝術(shù)的一些思想是相通的，因而我們需要了解生成藝術(shù)相關(guān)的內(nèi)容。 生成藝術(shù)的代表是視覺藝術(shù)方面的生成。我們了解下算法與視覺美學(xué)。自古以來數(shù)學(xué)與藝術(shù)就有著緊密的關(guān)系，有規(guī)律的數(shù)字組合可以創(chuàng)造出使人愉悅的藝術(shù)作品，在建筑設(shè)計(jì)中的比例或音樂的旋律都有所體現(xiàn)。甚至可以說，我們的世界是建立在數(shù)學(xué)之上的。舉個(gè)例子： 玫瑰曲線公式： 在極坐標(biāo)下可表示為ρ=a*sin(nθ),a為定長,n為整數(shù)。 我們可以用玫瑰曲線繪制一朵花。 數(shù)學(xué)有很多值得探索的視覺之美。 3 用大數(shù)據(jù)創(chuàng)作歌詞、樂曲、視覺風(fēng)格 除了數(shù)學(xué)/算法，我們還需要了解數(shù)據(jù)思維，數(shù)據(jù)可以幫助我們挖掘更多的潛在規(guī)律，一個(gè)音樂家/設(shè)計(jì)師的經(jīng)驗(yàn)最多只有80年，而數(shù)據(jù)，可以是匯集大量音樂家/設(shè)計(jì)師的經(jīng)驗(yàn)，代表的經(jīng)驗(yàn)是更為豐富的、甚至是全球的經(jīng)驗(yàn)。有一個(gè)典型的案例： 2017年 Spotify 全球榜 Top 2的一首容納了千萬傷心事的歌曲《Not Easy》，這首歌主創(chuàng)是格萊美獲獎(jiǎng)制作人 Alex Da Kid，最特別的地方在于它的共同創(chuàng)作者還有IBM Watson。 在 Watson幫助下，Alex很快完成了整首歌的創(chuàng)作，演繹出 “心碎”這種復(fù)雜的情緒。人機(jī)協(xié)作的過程，我們總結(jié)一下： STEP1 音樂主題的挖掘 利用Watson 的語義分析對(duì)過去 5 年的文本、文化和音樂數(shù)據(jù)進(jìn)行了分析，從中捕捉時(shí)代的熱點(diǎn)話題以及流行的音樂主題，最終幫助Alex鎖定了這次音樂創(chuàng)作的核心—“心碎”； STEP2 歌詞創(chuàng)作 在歌詞創(chuàng)作階段，利用Watson 的情感洞察分析了過去 5 年內(nèi)26000首歌的歌詞，了解每首歌曲背后的語言風(fēng)格、社交流行趨勢(shì)和情感表達(dá)，同時(shí)分析了博客、推特等社交媒體上的 UGC 內(nèi)容，了解受眾對(duì)“心碎”這個(gè)主題的想法和感受，從而輔助人類創(chuàng)作歌詞。 STEP3 數(shù)據(jù)洞察樂曲規(guī)律 在樂曲創(chuàng)作階段，Watson在26000歌曲中分析其中的節(jié)奏、音高、樂器、流派，并建立關(guān)系模型幫助 Alex 發(fā)現(xiàn)不同聲音所反映出的不同情感，探索“心碎”的音樂表達(dá)方式； STEP4 探尋圖像與色彩規(guī)律 在最后的專輯封面設(shè)計(jì)階段，設(shè)計(jì)師要如何表現(xiàn)“心碎”？Watson 利用色彩分析，對(duì)海量專輯的封面設(shè)計(jì)進(jìn)行分析，啟發(fā)Alex將音樂背后的情緒表達(dá)轉(zhuǎn)化為圖像和色彩，從而合作完成了專輯封面制作。 4 EMI人工智能音樂作曲系統(tǒng) 早在1981的時(shí)候，David Cope 創(chuàng)造了人工智能音樂作曲系統(tǒng)（EMI，Experiments in Musical Intelligence）。 網(wǎng)址：http://artsites./faculty/cope/experiments.htm David Cope是美國作家，作曲家，科學(xué)家，也是加州大學(xué)圣克魯斯分校的音樂教授。Cope還是音樂科技公司Emeritus of Recombinant Inc的聯(lián)合創(chuàng)始人和首席技術(shù)官。他的主要研究人工智能和音樂，主要的創(chuàng)作方向是通過作曲家創(chuàng)造力和計(jì)算機(jī)算法之間的協(xié)同，生成音樂作品。 Cope最初的想法是創(chuàng)建一個(gè)計(jì)算機(jī)程序，該程序能夠感受到他的整體音樂風(fēng)格以及追蹤當(dāng)前作品的想法的能力，以便在任何給定的時(shí)刻，Cope可以請(qǐng)求下一個(gè)音符，下一個(gè)音符，接下來的十個(gè)音量等等。 Cope嘗試了基于規(guī)則的方法以及重組匹配的方法進(jìn)行音樂生成。規(guī)則的方法，是一種為每種新風(fēng)格的音樂編寫新的規(guī)則集，來生成音樂的方法。雖然使用這種方法創(chuàng)作的一些音樂確實(shí)相當(dāng)成功，但其大部分音樂產(chǎn)品同樣沒有趣味，也不令人滿意。而重組的方法，可以簡單地定義為通過將現(xiàn)存音樂重新組合成新的邏輯而產(chǎn)生新音樂的方法。 在1997年，斯坦福大學(xué)的一次演講中，他用EMI模仿巴赫彈奏了一曲，普通聽眾可能根本分辨不出，到底是機(jī)器生成的還是巴赫自己創(chuàng)作的。David Cope被認(rèn)為是AI作曲教父，而且他對(duì)AI作曲的未來充滿信心，正確的算法將有助于解鎖人類無法完成的歌曲創(chuàng)作新表達(dá)。下面介紹一下EMI的工作原理： 采用的是模式匹配，它將音樂片段分割成更小的片段并進(jìn)行分析，找出相似的聲音并進(jìn)行分類。包括以下幾步： STEP1 解構(gòu) 分析音樂，并分解成「部件」 STEP2 分類 把分解的「部件」進(jìn)行相似性的計(jì)算，歸類 STEP3 重組 通過把「部件」進(jìn)行重組，從而產(chǎn)生新的音樂 5 算法作曲，及相關(guān)方法 Algorithmic composition 算法作曲，是使用算法創(chuàng)造音樂的一種技術(shù)，使用一些看似于音樂無關(guān)的算法或數(shù)據(jù)來創(chuàng)作音樂，例如分形，L-系統(tǒng)，統(tǒng)計(jì)模型（如正態(tài)分布），人口的普查數(shù)據(jù)，地理位置數(shù)據(jù)，磁場(chǎng)數(shù)據(jù)等。 目前有許多解決方案，有各自的優(yōu)點(diǎn)，但仍沒有一種解決方案是效果最佳，得到大家公認(rèn)的。下面對(duì)一些方法進(jìn)行介紹，主要有5種方法： Translational Models Mathematical Models Grammars Evolutionary Methods Hybrid Systems 5.1 Translational Models 如果你聽過「建筑是凝固的音樂」，對(duì)這類方法肯定不會(huì)陌生，有點(diǎn)類似于類比的方法，我們把建筑空間的轉(zhuǎn)換“翻譯”為聲音，從而生成音樂。此類方法將信息從非音樂媒介“翻譯”成聲音，可以是基于規(guī)則或隨機(jī)生成。通常，算法會(huì)結(jié)合音樂理論從媒介中提取對(duì)應(yīng)的數(shù)據(jù)來生成音樂。要把音樂的概念轉(zhuǎn)化為算法／數(shù)據(jù)的概念。例如，將圖片轉(zhuǎn)化為聲音，根據(jù)圖片的色彩變化或者明度變化。除了圖片，另一個(gè)例子是文本轉(zhuǎn)化為音樂，通過使用機(jī)器學(xué)習(xí)從文本中提取情感（正面或負(fù)面），用于對(duì)應(yīng)和弦方面的情感，產(chǎn)生輕微（悲傷）或主要（快樂）的和弦曲調(diào)。 5.2 Mathematical Models 數(shù)學(xué)模型基于數(shù)學(xué)方程式和隨機(jī)事件。通過數(shù)學(xué)創(chuàng)造音樂的最常見方式是隨機(jī)過程。在隨機(jī)模型中，一段音樂是由非確定性方法構(gòu)成的。組成過程僅由作曲家通過配置可能性參數(shù)，作為隨機(jī)事件的權(quán)重。隨機(jī)算法的例子是馬爾可夫鏈和高斯分布。音樂也可以通過自然的規(guī)律生成，例如混沌中的分形理論，以分形來創(chuàng)造自然的音樂曲調(diào)。 5.3 Grammars 基于語言的文法，音樂也可以作為一種具有獨(dú)特語法的語言看待。作曲的過程首先構(gòu)建音樂語法類似于構(gòu)建音樂的DSL（領(lǐng)域特定語言），然后用它來創(chuàng)作易于理解的音樂作品。文法經(jīng)常包含宏觀層次的規(guī)則，例如和聲和節(jié)奏。（mixlab此前更新過一篇建筑生成中用Grammars方法來生成的文章，可點(diǎn)擊進(jìn)一步了解）。 5.4 Evolutionary Methods 音樂是通過進(jìn)化過程來創(chuàng)作的。通過突變和自然選擇，不同的解決方案進(jìn)化演變成適合的音樂作品，很多人都引入了Evolution Method來做一個(gè)篩選。讓算法把不好的方案移除，并從過程中演化出新的解決方案。然而這種方案的弱點(diǎn)也十分明顯，如何定義一個(gè)「好的方法」，假如我引入了太多的規(guī)則，會(huì)不會(huì)出現(xiàn)過于單調(diào)？以及最重要的問題——音樂的跌宕起伏感如何表達(dá)？ 5.5 Hybrid Systems 基于單一算法模型的程序很少可以成功創(chuàng)建令人滿意的結(jié)果。因而，往往通過組合各種方法，來形成混合的系統(tǒng)，用于音樂的生成。比較經(jīng)典的，例如Deepjazz的方法是用LSTM（一種Sequence to Sequence Learning）生成一些東西，再結(jié)合遺傳算法來對(duì)結(jié)果進(jìn)一步優(yōu)化，篩掉一些效果不好對(duì)音樂。 limber注釋：然而LSTM生成的東西其實(shí)是沒有什么可解釋性的。你跟我說你Learn from the sequence，那好我問你，你到底Learn了啥？誰都答不上來。但是為了make sense，引入了遺傳算法來進(jìn)行演化推動(dòng)進(jìn)行，篩掉一些效果不好的音樂，然而問題其實(shí)還是很明顯，遺傳算法該通過如何的套路來進(jìn)行篩選？ 你憑什么說這個(gè)音樂是“好聽的？”。假如你投入很多的規(guī)則進(jìn)去，那么你得到的東西不過是“符合這些規(guī)則”的結(jié)果而已。 6 算法作曲前端技術(shù)棧 想要玩轉(zhuǎn)生成藝術(shù)以及算法作曲，我們需要掌握canvas，webgl，glsl等，這里介紹一些比較容易入手的前端技術(shù)。 6.1 p5.js Processing的JS版本。適合藝術(shù)家/設(shè)計(jì)師使用的前端框架，簡單幾個(gè)命令就可以完成藝術(shù)創(chuàng)作。 https:/// 6.2 sketch.js 另一個(gè)類似于p5.js的簡單易用的創(chuàng)意編程JS框架。 https://github.com/soulwire/sketch.js 6.3 gif.js 我們有時(shí)需要導(dǎo)出生成結(jié)果，利用前端生成GIF動(dòng)圖的JS庫可以方便地導(dǎo)出GIF。 https://github.com/jnordberg/gif.js 6.4 A-Frame threejs的高級(jí)封裝庫，3d圖形的生成，或用于AR、VR。 https:/// 6.5 blotter.js 用著色器語言生成字體特效。 https://blotter./ 6.6 tonejs Tone.js是一個(gè)在瀏覽器中創(chuàng)建交互式音樂的框架。 https://tonejs./ 6.7 wavesurfer.js wavesurfer.js是一個(gè)用于音頻波形可視化的框架，基于Web Audio API和HTML5 Canvas構(gòu)建。 https://wavesurfer-/ 6.8 magenta.js magenta.js是一個(gè)基于TensorFlow.js構(gòu)建的，在瀏覽器中使用WebGL加速運(yùn)行的，用于通過Magenta模型生成音樂和藝術(shù)的JS框架。包括MusicVAE，MelodyRNN，DrumsRNN和ImprovRNN。 https://github.com/tensorflow/magenta-js 7 需要了解的深度學(xué)習(xí)技術(shù) 7.1 技術(shù)核心RNN RNN（Recurrent Neural Network）是一類用于處理序列數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)。例如時(shí)間序列數(shù)據(jù)，是指在不同時(shí)間點(diǎn)上收集到的數(shù)據(jù)，這類數(shù)據(jù)反映了某一事物、現(xiàn)象等隨時(shí)間的變化狀態(tài)或程度。一個(gè)顯著的特點(diǎn)就是后面的數(shù)據(jù)跟前面的數(shù)據(jù)有關(guān)系。借鑒了在文本生成，手寫和素描等領(lǐng)域的以RNN為技術(shù)核心的探索，將這個(gè)想法應(yīng)用到音樂中誕生了樂曲旋律自動(dòng)補(bǔ)全工具magenta，一個(gè)旋律自動(dòng)補(bǔ)全工具。這個(gè)技術(shù)最明顯的應(yīng)用是自動(dòng)完成，設(shè)定音樂旋律的開頭部分，讓機(jī)器即興地延續(xù)。 7.2 NSynth神經(jīng)合成器 Neural Audio Synthesis NSynth可幫助音樂工作者，藉由直覺控制各種聲音表情與強(qiáng)弱，同時(shí)模擬不同樂器的聲音，任意排列組合于創(chuàng)作之中。 其所使用的數(shù)據(jù)集是一組大量的帶標(biāo)記的音符，從各個(gè)樂器的音高和速度范圍采樣。對(duì)比傳統(tǒng)語音合成器借助手工設(shè)計(jì)的組件比如振蕩器（oscillator）和波表（wavetable）生成語音；NSynth 則是通過從超過30萬的數(shù)據(jù)中直接學(xué)習(xí)，獲取特征。 7.3 WaveNet WaveNet: A Generative Model for Raw Audio 在2016年，Google旗下DeepMind實(shí)驗(yàn)室推出了WaveNet深度神經(jīng)網(wǎng)絡(luò)，用于“生成能夠產(chǎn)生比現(xiàn)有技術(shù)更好、更逼真的，語音原始音頻波形”。Google利用WaveNet技術(shù)，以英文/日文更新了Google Assistant的語音功能，可選擇男性或女性。對(duì)于音樂生成，跟語音的合成是類似的。了解下WaveNet，它是一個(gè)端到端的TTS(text to speech)的生成模型，類似于早期的pixel RNN和Pixel CNN，聲音元素是一個(gè)點(diǎn)一個(gè)點(diǎn)生成的。在WaveNet中最重要的概念就是帶洞因果卷積(dialated causal convolutions)。因果卷積的意義就是WaveNet在生成t時(shí)刻的元素時(shí)，只能使用0到t-1時(shí)刻的元素值。 7.4 WaveGAN 生成對(duì)抗網(wǎng)絡(luò)被廣泛用于合成逼真圖像，但是在音頻生成領(lǐng)域幾乎沒有進(jìn)行過探索。18年年初WaveGAN被提出，WaveGAN可以從人類語音的小詞匯中產(chǎn)生可理解的單詞，以及合成來自其他領(lǐng)域的音頻，例如鳥類發(fā)聲，鼓和鋼琴。 WaveGAN基于在圖像合成中的應(yīng)用而聞名的DCGAN架構(gòu)，是一種對(duì)音頻合成的新的解決方案。 也許某一天我們打開音樂app，所播放的都是AI根據(jù)我們的心情即時(shí)創(chuàng)作的音樂。 以上為全文。 近期活動(dòng)推薦： 快！TensorFlow、黑客馬拉松、DevFest千人大會(huì) ，GDG DevFest 2018在召喚你 -------------------------------------- mixlab 無界社區(qū) 是一所面向未來的實(shí)驗(yàn)室，它提倡“跨界創(chuàng)新，開放成長”的理念。 ——跨界 開放 互助 學(xué)習(xí) 思維 創(chuàng)新。 目前社區(qū)匯集了1500+跨學(xué)科人群，主要來自GoogleBrain、微軟、華為、阿里魯班、騰訊、曠視、三角獸、物靈科技、眾安保險(xiǎn)、美團(tuán)、360等科技人才、設(shè)計(jì)師及CEO和投資人；高校分布MIT、Oxford、Cambridge、CMU、UoM、清華、上交大、同濟(jì)等學(xué)生及教師群體；學(xué)科跨越機(jī)器學(xué)習(xí)、自然語言處理、量化交易、物聯(lián)網(wǎng)、區(qū)塊鏈、前端、后端、產(chǎn)品經(jīng)理、UI設(shè)計(jì)、建筑設(shè)計(jì)、服裝設(shè)計(jì)、珠寶設(shè)計(jì)、音樂、藝術(shù)等。
詳細(xì)介紹點(diǎn)擊以下卡片： mixlab期待您的加入！ 讓你具備無限可能…… 不贊賞下？ 不點(diǎn)下廣告？ 不轉(zhuǎn)發(fā)下？ |
|
|
