O percurso musical de Tori começou no mundo clássico, quando entrou para o prestigiado Peabody Institute. Agora, viu-se obrigada a recuar e a abordar novamente aquele universo. «A música tem a capacidade de nos guiar e dizer que chegou a hora de criar desta forma», explica. Os tempos mudaram e, agora, ela sente-se limitada pelo mundo actual e pelo marasmo do que ouve na rádio. «A música contemporânea não tem assim tantas estruturas complexas – por isso é que os artistas estão à procura de outros caminhos para construir uma canção». Mas o seu treino clássico forneceu-lhe a linguagem, as ferramentas e a compreensão das formas e estruturas que lhe permitiram conceber «Night of Hunters» e «Gold Dust».
Segundo a Universal Music, o alinhamento de «Gold Dust» não se assemelha a uma compilação dos seus maiores sucessos. Apesar de incluir algumas das suas mais populares canções – «Precious Things», «Silent All These Years», «Winter» –, muitos dos outros momentos de «Gold Dust» são tesouros pouco conhecidos. Algumas das canções foram dramaticamente reinventadas com o auxílio de John-Philip Shenale, há muito responsável pelos arranjos da música de Tori. O rock de «Precious Things» e o electro de «Flavor» ganharam uma nova forma com o ambiente de uma orquestra sinfónica. Outras passaram por transformações mais subtis, ao ganharem, acrescentarem ou alterarem cores individuais às versões originais. Mas todas foram escolhidas por uma razão.
Com uma estrutura quase autobiográfica, estas canções representam histórias na vida de Tori Amos. Tornou-se claro para Tori Amos que eram as próprias canções que se disponibilizavam para o álbum. O que não quer dizer que este tenha sido um processo fácil. «A ironia de todo o projecto é que estas músicas viviam num mundo e de uma forma específica, quando foram cantadas pela primeira vez. A minha relação com todas estas canções foi mudando ao longo dos anos – e elas mudaram a minha vida. Quis escolher canções que contassem uma história sobre a minha existência e que ainda tivessem uma história para contar, quando fossem gravadas, hoje».