FroMy は、身体と周辺環境の情報を参照して音楽の自動生成を行うシステムです。
何らかの作業をするとき、その背景に音楽を再生するということは、広く一般に行われています。音楽を聴きながら作業したほうが集中できそうな気がするし、退屈しないですみそうだからです。
それでも、例えば落ち着いた気分のときに突然うるさい曲が再生されて集中が途切れてしまったり、お気に入りの音楽が再生されて聴き入って手が止まってしまったりするなど、もともと作業の支援となることを期待していた音楽が、逆に作業を阻害する原因になることが多くありました。
音楽は、空気を読めないのです。ユーザの気分に合わない曲でも、だからお構いなしに遠慮なく再生を始めてしまいます。
──それならば、音楽に空気を読ませれば良い。ユーザの状況、そのときどきの状態に応じて、その場その場でリアルタイムに音楽を生成できないか──。
そう考えて作ったのが、この FroMy です。ユーザの状況──ユーザの身体情報と周辺環境の情報──をセンサで取得し、その値によってリアルタイムに音楽を生成します。
ユーザの状況に応じて、音楽がその瞬間瞬間で生成され続けます。ユーザの状況が変化すれば、それに応じて音楽も変化するのです。この、ユーザの『いま』のためだけに生成される音楽は、ユーザの作業を阻害することなく、さらには作業を支援する音楽として活用できるのではないかと考えています。
2011 年 2 月 1 日、19:00 から 19:40 の間、ぼくが部屋の片付けをしていたときに生成された音楽がこちらです。40 分の音楽ですが、YouTube は一般会員では 15 分までしか載せられないので、最初の 15 分だけ載せています。40 分間を全部聴きたい方は、下記『音源ダウンロード』からダウンロードしてください。
専用デバイスを身につけた状態で、好き勝手に部屋の片付け——床に散らばっていたものを整理したり、ベッドを整えたり、机の中をきれいにしたり——をしていただけです。FroMy は、片付け中のぼくの脈波や動き、まわりの騒音の情報をリアルタイムに取得して、それを基にリアルタイムで音楽を生成します。
片付け中、身体を活発に動かしているときは、音楽もにぎやかになり、音の流れや変化も大きくなります。途中、変化が少なくなったり、のんびりと落ち着いた雰囲気になったときは、ベッドや椅子に腰掛けて一休みしていたり、片付け中に出てきた懐かしいものを眺めていたり——こういうの、よくありますよね——しているときです。特に 30 分が経過したあたり（下記のフルバージョンにしか収録されていない部分です）からは、座った状態での机の中の掃除にうつったので、流れの変化がゆるやかになります。
FroMy は、ユーザの身体の情報として脈波と加速度の情報を、ユーザの周辺環境の情報として騒音情報を、それぞれ利用します。これらをセンサで取得し、その値によって音楽を生成します。
音楽のテンポやコード進行は、心拍数の変化によって自動的に決定されます。これは、音楽のテンポと心拍に関しての先行する研究により、そうすることでより高い作業支援効果が得られると考えられたためです。
身体に装着する、センサを内蔵した専用デバイスは、A.P.Shield を改造した回路やArduino Fio、XBee などによって構成されます。
生成される音楽は、今回は『水』をイメージしたものになるように実装しました。いくつかのシンセサイザのほか、減算合成などを用いて音楽を生成します。
あとはなんだかぽやぽやしたりぱたぱたしたりして、きもちのよい感じの音になるようにがんばりました。上の説明はだいぶ省略していますが、心拍についてとか、テンポについてとか、学術的なところもそれなりに調べて実装に取り入れるなどしています。
卒業論文はこれについて書きました。評価実験もして、結論としては『ある計算課題の遂行において、FroMy による自動生成音楽は、作業時間や正答数などの向上に直接的に影響することは少ないが、無音や既存の音楽に比較して、ユーザに集中しやすく快適で落ち着けると感じさせるなど、作業を心理的側面からより効果的に支援できる可能性があることが確認された』って感じでした。論文はいまのところ公開はしていないです。
FroMy についてはこのページを紹介する目的でブログでも少しだけ触れています。
このページの情報をベースにぐーぐる先生を活用すると黒井の本名大公開な感じになってるんですけど、そっとしておいてください。
YouTube で再生する（1080p まで対応）