nsynth

  • Descrizione :

Il set di dati NSynth è un set di dati audio contenente ~ 300.000 note musicali, ciascuna con un tono, un timbro e un inviluppo unici. Ogni nota è annotata con tre informazioni aggiuntive basate su una combinazione di valutazione umana e algoritmi euristici: Fonte, Famiglia e Qualità.

@InProceedings{pmlr-v70-engel17a,
  title
=    {Neural Audio Synthesis of Musical Notes with {W}ave{N}et Autoencoders},
  author
=   {Jesse Engel and Cinjon Resnick and Adam Roberts and Sander Dieleman and Mohammad Norouzi and Douglas Eck and Karen Simonyan},
  booktitle
=    {Proceedings of the 34th International Conference on Machine Learning},
  pages
=    {1068--1077},
  year
=     {2017},
  editor
=   {Doina Precup and Yee Whye Teh},
  volume
=   {70},
  series
=   {Proceedings of Machine Learning Research},
  address
=      {International Convention Centre, Sydney, Australia},
  month
=    {06--11 Aug},
  publisher
=    {PMLR},
  pdf
=      {http://proceedings.mlr.press/v70/engel17a/engel17a.pdf},
  url
=      {http://proceedings.mlr.press/v70/engel17a.html},
}

nsynth/full (configurazione predefinita)

  • Descrizione della configurazione : il set di dati NSynth completo è suddiviso in set treno, valido e test, senza sovrapposizione di strumenti tra il set treno e i set validi/test.

  • Dimensioni del download : 73.07 GiB

  • Dimensione del set di dati: 73.09 GiB

  • Divisioni :

Diviso Esempi
'test' 4.096
'train' 289,205
'valid' 12.678
  • Struttura delle caratteristiche :
FeaturesDict({
   
'audio': Audio(shape=(64000,), dtype=float32),
   
'id': string,
   
'instrument': FeaturesDict({
       
'family': ClassLabel(shape=(), dtype=int64, num_classes=11),
       
'label': ClassLabel(shape=(), dtype=int64, num_classes=1006),
       
'source': ClassLabel(shape=(), dtype=int64, num_classes=3),
   
}),
   
'pitch': ClassLabel(shape=(), dtype=int64, num_classes=128),
   
'qualities': FeaturesDict({
       
'bright': bool,
       
'dark': bool,
       
'distortion': bool,
       
'fast_decay': bool,
       
'long_release': bool,
       
'multiphonic': bool,
       
'nonlinear_env': bool,
       
'percussive': bool,
       
'reverb': bool,
       
'tempo-synced': bool,
   
}),
   
'velocity': ClassLabel(shape=(), dtype=int64, num_classes=128),
})
  • Documentazione delle funzionalità :
Caratteristica Classe Forma Tipo D Descrizione
CaratteristicheDict
Audio Audio (64000,) galleggiante32
id Tensore corda
strumento CaratteristicheDict
strumento/famiglia ClassLabel int64
strumento/etichetta ClassLabel int64
strumento/sorgente ClassLabel int64
pece ClassLabel int64
qualità CaratteristicheDict
qualità/brillante Tensore bool
qualità/oscurità Tensore bool
qualità/distorsioni Tensore bool
qualità/decadimento_rapido Tensore bool
qualità/rilascio_lungo Tensore bool
qualità/multifonico Tensore bool
qualità/nonlinear_env Tensore bool
qualità/percussioni Tensore bool
qualità/riverbero Tensore bool
qualità/sincronismo al tempo Tensore bool
velocità ClassLabel int64

nsynth/gansynth_subset

  • Descrizione della configurazione : NSynth Dataset limitato agli strumenti acustici nell'intervallo di pitch MIDI [24, 84]. Utilizza divisioni alternative che hanno una sovrapposizione di strumenti (ma non note esatte) tra il treno e i set validi/di prova. Questa variante è stata originariamente introdotta nel documento GANSynth ICLR 2019 ( https://arxiv.org/abs/1902.08710 ).

  • Dimensioni del download : 73.08 GiB

  • Dimensione del set di dati: 20.73 GiB

  • Divisioni :

Diviso Esempi
'test' 8.518
'train' 60.788
'valid' 17.469
  • Struttura delle caratteristiche :
FeaturesDict({
   
'audio': Audio(shape=(64000,), dtype=float32),
   
'id': string,
   
'instrument': FeaturesDict({
       
'family': ClassLabel(shape=(), dtype=int64, num_classes=11),
       
'label': ClassLabel(shape=(), dtype=int64, num_classes=1006),
       
'source': ClassLabel(shape=(), dtype=int64, num_classes=3),
   
}),
   
'pitch': ClassLabel(shape=(), dtype=int64, num_classes=128),
   
'qualities': FeaturesDict({
       
'bright': bool,
       
'dark': bool,
       
'distortion': bool,
       
'fast_decay': bool,
       
'long_release': bool,
       
'multiphonic': bool,
       
'nonlinear_env': bool,
       
'percussive': bool,
       
'reverb': bool,
       
'tempo-synced': bool,
   
}),
   
'velocity': ClassLabel(shape=(), dtype=int64, num_classes=128),
})
  • Documentazione delle funzionalità :
Caratteristica Classe Forma Tipo D Descrizione
CaratteristicheDict
Audio Audio (64000,) galleggiante32
id Tensore corda
strumento CaratteristicheDict
strumento/famiglia ClassLabel int64
strumento/etichetta ClassLabel int64
strumento/sorgente ClassLabel int64
pece ClassLabel int64
qualità CaratteristicheDict
qualità/brillante Tensore bool
qualità/oscurità Tensore bool
qualità/distorsioni Tensore bool
qualità/decadimento_rapido Tensore bool
qualità/rilascio_lungo Tensore bool
qualità/multifonico Tensore bool
qualità/nonlinear_env Tensore bool
qualità/percussioni Tensore bool
qualità/riverbero Tensore bool
qualità/sincronismo al tempo Tensore bool
velocità ClassLabel int64

nsynth/gansynth_subset.f0_and_loudness

  • Descrizione della configurazione : NSynth Dataset limitato agli strumenti acustici nell'intervallo di pitch MIDI [24, 84]. Utilizza divisioni alternative che hanno una sovrapposizione di strumenti (ma non note esatte) tra il treno e i set validi/di prova. Questa variante è stata originariamente introdotta nel documento GANSynth ICLR 2019 ( https://arxiv.org/abs/1902.08710 ). Questa versione contiene inoltre stime per F0 utilizzando CREPE (Kim et al., 2018) e il volume percettivo ponderato A in decibel. Entrambi i segnali sono forniti a un frame rate di 250Hz.

  • Dimensione del download : 73.08 GiB

  • Dimensione del set di dati: 22.03 GiB

  • Divisioni :

Diviso Esempi
'test' 8.518
'train' 60.788
'valid' 17.469
  • Struttura delle caratteristiche :
FeaturesDict({
   
'audio': Audio(shape=(64000,), dtype=float32),
   
'f0': FeaturesDict({
       
'confidence': Tensor(shape=(1000,), dtype=float32),
       
'hz': Tensor(shape=(1000,), dtype=float32),
       
'midi': Tensor(shape=(1000,), dtype=float32),
   
}),
   
'id': string,
   
'instrument': FeaturesDict({
       
'family': ClassLabel(shape=(), dtype=int64, num_classes=11),
       
'label': ClassLabel(shape=(), dtype=int64, num_classes=1006),
       
'source': ClassLabel(shape=(), dtype=int64, num_classes=3),
   
}),
   
'loudness': FeaturesDict({
       
'db': Tensor(shape=(1000,), dtype=float32),
   
}),
   
'pitch': ClassLabel(shape=(), dtype=int64, num_classes=128),
   
'qualities': FeaturesDict({
       
'bright': bool,
       
'dark': bool,
       
'distortion': bool,
       
'fast_decay': bool,
       
'long_release': bool,
       
'multiphonic': bool,
       
'nonlinear_env': bool,
       
'percussive': bool,
       
'reverb': bool,
       
'tempo-synced': bool,
   
}),
   
'velocity': ClassLabel(shape=(), dtype=int64, num_classes=128),
})
  • Documentazione delle funzionalità :
Caratteristica Classe Forma Tipo D Descrizione
CaratteristicheDict
Audio Audio (64000,) galleggiante32
f0 CaratteristicheDict
f0/fiducia Tensore (1000,) galleggiante32
f0/hz Tensore (1000,) galleggiante32
f0/midi Tensore (1000,) galleggiante32
id Tensore corda
strumento CaratteristicheDict
strumento/famiglia ClassLabel int64
strumento/etichetta ClassLabel int64
strumento/sorgente ClassLabel int64
volume CaratteristicheDict
volume/db Tensore (1000,) galleggiante32
pece ClassLabel int64
qualità CaratteristicheDict
qualità/brillante Tensore bool
qualità/oscurità Tensore bool
qualità/distorsioni Tensore bool
qualità/decadimento_rapido Tensore bool
qualità/rilascio_lungo Tensore bool
qualità/multifonico Tensore bool
qualità/nonlinear_env Tensore bool
qualità/percussioni Tensore bool
qualità/riverbero Tensore bool
qualità/sincronismo al tempo Tensore bool
velocità ClassLabel int64