Note Spectrogram
音声を変えずに、A0からC8までの範囲から選んだ推定基本周波数(F0)を流れるピアノロールで表示します。和音の構成音、変化するボーカルやメロディーの動き、ベースライン、異なるオクターブで重なる音を追うのに役立ちます。音色別の色分けや強調表示を使うと、推定した歌声や楽器のグループを表示の中で追いやすくなります。
表示ガイド
Verticalでは横軸が時間で、右端に鍵盤と現在の音を表示します。上ほど高い音です。
Horizontalでは鍵盤を下端に置き、左に低音、右に高音を表示します。新しい音は鍵盤のすぐ上に現れ、履歴は上へ流れます。
新しい音はまず、その時点での推定結果で表示されます。約40 ms、80 ms、160 ms後に、その後の音も手がかりに同じ位置の推定結果を更新するため、最新部分のすぐ後ろの表示が変わることがあります。この更新で表示が遅れることはなく、表示を音声に同期のタイミングも変わりません。
Cごとの線がオクターブの境界を示します。
黒鍵に対応する音高の行は、音が検出されていないときも判別できるよう、ほぼ黒に近いグレーで表示します。
Normalはテーマのグラフ描画色、Note Colorsは音名ごとの色を使います。同じ音名はどのオクターブでも同じ色です。Instrument (3)とInstrument (9)は、各グループの推定確率に応じて色を混ぜます。Instrument (3)では、確率をVocal、Bass、Otherにまとめてから混ぜます。凡例でグループと色の対応を示します。EとFの間の補助線はどの設定でも表示されます。
音色の判定が終わると、対応する履歴にグループの色を反映します。Instrument表示では、判定待ちや判定のない音を、グループを表さない中立の灰色で表示します。3グループと9グループの切り替えには、得られた判定結果を使います。
音色の判定結果の表示には追加で20 msかかりますが、音高の表示は引き続き即座に更新されます。
音色判定は曲の中で前に出た音を手がかりにするため、有効にした直後や再生位置を変えた直後は精度が下がります。一度確定した音色の判定は、後から書き換えません。
音色の判定が終わると、結果の確かさにかかわらず、各グループの確率が得られます。弱い音高候補や、音色判定を有効にする前から鳴っている音などは、判定がなく灰色のまま残ることがあります。
Highlightは、対象以外の音を中立の灰色に近づけ、選んだグループを追いやすくします。対象の推定確率が高いほど元の色を保ちます。判定待ちや判定のない音も中立の灰色で表示し、消しません。凡例のそばに強調対象を表示し、凡例内でもその対象を目立たせます。凡例のグループにマウスを重ねると一時的にそのグループを強調し、離すと選択していたHighlightに戻ります。
1/12 Octaveは半音ごとに1行で表示します。Highは推定したセント値の位置にそのまま表示し、細かな音高の動きを追いやすくします。Note Colorsでは音高に応じて隣り合う音名の色を補間し、Instrument表示では楽器の推定結果に応じた色を使います。
色の濃さは音高の推定に対する確信度を示します。確信度がゼロに近づくほど、表示は背景に溶け込むように薄くなります。
Onsetsをオンにすると、選んだColorの色の三角形で、推定した音の始まりを示します。Horizontalでは▼、Verticalでは▶を表示し、三角形の底辺の中央が発音時刻と音高を示します。同じ高さの音を弾き直したときも別の印が付くため、音が途切れずに続く場合も発音の区切りを確認できます。
Volumeをオンにすると、検出した音高をバーで表示し、周波数補正後の相対音量をバーの不透明な本体の太さで示します。本体の太さは表示範囲の下端で1/60オクターブ、上端で1/12オクターブです。本体の両側にはそれぞれ1/120オクターブのフェードが加わり、総描画幅は本体より合計1/60オクターブ広がります。Pitch Resolutionはバーの中心位置だけを変え、本体の太さには影響しません。
鍵盤との境界からグラフ側へ広がる、ぼかした半円が現在の音量を示します。音量が上がるとすぐに追従し、下がると毎秒20 dBで減衰します。表示用のピーク保持や別のピーク弧はありません。
音量表示の幅は24 dBです。上端は、履歴の尺度を安定させるための直近の基準値(約1秒分)と-36 dBのうち高い方に追従します。この基準値は、半円が示す現在の音量とは別のものです。
オクターブ境界線とE–F間の補助線はバーの背面に描かれるため、音高グリッドの目安として確認できます。
最新フレームの確信度が高いほど、鍵盤色が通常の色から滑らかに表示色へ近づき、1でその色になります。NormalやNote Colorsでは、Highlightはグラフに適用され、鍵盤の色は変わりません。
Colorを切り替えると、既存の履歴を選んだ色で塗り直します。
ビジュアル表示
履歴にマウスを重ねるか、タッチしてなぞると、その位置の音名、時刻、Salience(音高推定の確信度)、Level(周波数補正後の音量、dB)を読み取れます。
音色判定が動作中は、その履歴位置の音について各グループの推定確率も一覧で表示します。Instrument (3)ではVocal、Bass、Other、それ以外のColor設定では9グループを表示します。判定結果のない音はNot classifiedと表示します。
Highlightを選ぶと、判定結果のある位置では対象の推定確率も表示します。これはSalienceとは別の値です。
音楽を聴くときの使い方
和音は、同じ時刻に並ぶ複数の明るい行として見えます
メロディーやベースラインは、音高の行を移動する軌跡として見えます
歌声やベースを追うには、まずInstrument (3)を選ぶか、Note ColorsのままHighlightでVocalやBassを選びます。より細かく分けて見るにはInstrument (9)を使います。
音高や音色の推定には誤りがあり、音が重なるほど判定が難しくなります。音色別の色分けは聴きながら確認するための目安で、各楽器を確実に識別するものではありません。ドラムは分類対象外です。MIDIや楽譜の作成や、同時に鳴る音の完全な分離は行いません。打楽器、ノイズ、繰り返しが不明瞭な音では誤った音高が表示されることもあります。
音色グループ
Instrument (3)はVocal、Bass、Otherの3グループです。OtherはVocalとBass以外をまとめたもので、9グループ表示のOtherより広い範囲を含みます。
Instrument (9)は次の9グループです。
Vocal:実録音の人の歌声。独唱と合唱を含みます。
Bass:アコースティック、エレキ、シンセベース。
Guitar:アコースティックギター、クリーンなエレキギター、歪みのあるギター。
Piano:アコースティックピアノ、エレピ、ハープシコード、クラビネット。
Strings:弦のソロとアンサンブル、ピチカート、ハープ、シンセストリングス。
Wind:金管と木管。サックスやフルートなどを含みます。
Synth:シンセリードとパッド。
Organ:オルガン、アコーディオン、ハーモニカ。
Other:チェレスタやビブラフォンなどの有音程打楽器、合成した合唱・声の音色、オーケストラヒット、シンセ効果、民族楽器、効果音。
パラメーター
Color - 音高の推定結果はそのままに、表示色を選びます。
Normal(初期値):テーマのグラフ描画色。
Note Colors:音名ごとに色を変え、同じ音名はどのオクターブでも同じ色で表示します。
Instrument (3):Vocal、Bass、Otherごとに色分けします。
Instrument (9):上記の9つの音色グループごとに色分けします。
Highlight - どのColor設定でも、音量を示す太さを保ちながら推定したグループを強調します。None(初期値)は強調なしです。Vocal、Bass、Other (3)、Guitar、Piano、Strings、Wind、Synth、Organ、Other (9)から選びます。Other (3)はVocalとBass以外のすべて、Other (9)は上記の狭いOtherグループだけが対象です。強調表示は音声を変えません。
音の始まりと音色の解析ではCPU負荷が増えます。この追加処理を使わない場合はOnsetsをオフにし、NormalまたはNote Colorsを選んで、HighlightをNoneにします。
Pitch Resolution - 既存の履歴を消さずに、音高方向の表示解像度を切り替えます。
1/12 Octave(初期値):半音ごとに1行とし、その音の範囲で最も強い推定結果を表示します。
High:推定したセント値をそのまま表示し、細かな音高の動きを反映します。
Layout - Horizontal(初期値)またはVerticalを選びます。切り替えても既存の履歴は保持されます。
Volume - バーの太さと半円メーターで相対音量を表示します。初期値はオンです。オフにすると太さは一定になり、色の濃さが音高推定の確信度を示します。
Onsets - どちらのLayoutでも、Volumeのオン・オフにかかわらず、推定した音の始まりを表示します。初期値はオフです。オフにすると印を隠しますが、Instrumentの色設定やHighlightで必要な場合は音色解析を続けます。
Time Span(1~10 s)- ピアノロールに表示する時間の長さを設定します
短くすると、タイミングの変化を詳しく確認できます
長くすると、より長い音楽の流れを一度に確認できます
初期値:2 s
Lowest Note - 表示と認識を行う音域の下限を設定します。初期値:E1。
Highest Note - 表示と認識を行う音域の上限を設定します。初期値:G6。
入力が解析するには小さすぎる場合、極小の入力を音高として表示せず、ピアノロールは黒いままです。この抑制は、音が聞こえるか、聴覚的にマスキングされるかを判断するものではありません。