​​Behind the scene: Israel & イスラエル
​​

​​　Overview

​​
 
User-uploaded image: image.png
​​

​​「フラメンコは音楽だ。身振りや体の動きも視覚的な音楽なんだ」

​​初対面の時に言われたイスラエルの言葉がきっかけになり、今回はフラメンコの踊りの音楽的な肝ともいえるサパテアード(ステップ)のリズムを生成するモデルを作ることに
​​
​​
​​

​​Data Capture 

​​
​​比較 - Google MagentaのPerformance RNN (2017)
​​172時間の電子ピアノの演奏データが用いられている.  
​​(Yamahaの電子ピアノのコンクールでの演奏を記録したもの)
​​
​​
 
Dropbox file icon
performance_rnn_play
​​
​​
​​
​​

​​2017年12月: ステップの音を解析 - タイミングを取る 

​​プロジェクトのスタート 
​​
​​音の解析 - アタックを取得.  
​​
 
User-uploaded image: download-2.png
​​
​​2018/1 - RNNで生成されたパターン
​​YouTube上のイスラエルの動画から音を抽出 - 学習データとして利用
​​
 
Dropbox file icon
0001 3-Audio-5
​​
​​
​​AIのモデルをベティーと呼んで面白がってくれた
​​
​​

​​2018年春: センサーをつけた靴を開発 - YCAM安藤

​​
​​圧力センサーの値
​​
 
User-uploaded image: image.png
​​
​​
 
User-uploaded image: image.png
​​イスラエルの足の圧力が強すぎて値が限界に張り付いてしまっている.
​​
​​課題 - ダイナミックレンジが広すぎる!! 　
​​強く叩くステップと床をなぞるような音、両方を取得できないとフラメンコらしさを再現できない！
​​

​​3月-6月- センサーの改良

​​
​​ピエゾセンサーを追加. 
​​
 
User-uploaded image: DSC03194.JPG
​​
​​
​​
​​改良したセンサーで取得したデータでサンプラーを鳴らした例 - だいぶフラメンコらしく聞こえるようになった！！
​​
 
​​
​​
​​