ニューラルネットワークを用いた歌声シンセサイザーNEUTRINOを試してみた。
歌わせた曲は星野源さんの『うちで踊ろう』。権利問題がクリアになっているのと、楽譜が公開されているのもありがたい。
星野源が作詞作曲した「うちで踊ろう」の楽譜ができました!
— 星野源 Gen Hoshino (@gen_senden) April 4, 2020
皆さんどんどん弾いて、アレンジして、歌って動画をアップしてくださいね。#うちで踊ろう #星野源https://t.co/fyYxaEqrXP pic.twitter.com/PzUAjWm13I
NEUTRINOには2020年4月現在、2名の音源(東北きりたん、謡子)が同梱されているようだが、ポップソング向けという説明があった、東北きりたんを選択。
使い方は以下のページが詳しかった。
AIきりたんに歌わせるための楽譜ファイルは、フリーソフトのMuseScoreを使って作成するとのこと。
先に音符を入力してから歌詞を入力する。歌詞は音符を選択して、Ctrl+Lで入力。次の音符へはカーソルキー(→)で移動できる。
フレーズ長があまりにも長いと音声が破綻します。 ブレス記号又は休符で囲まれた区間がフレーズに相当します。
とあったので、適度にブレスを入れた。
打ち込んだ楽譜はこんな感じ。
生成された歌声はこちら。
いや、楽譜ベタ打ちでこれはすごい。伴奏をつけたバージョンはこちら。
初音ミク的なのものは、ずっと興味はあったんだけど、調整(調教?)の職人技の世界は無理そうかな…と、二の足を踏んでいた。が、無調整でこのレベルで歌ってくれるんなら気軽に使えていいですね。
作成したMusicXMLを置いときます。