O actor Jeff Goldblum continua a expor o seu clássico e requintado gosto jazzístico. I Shouldn't Be Telling You This é o seu segundo álbum co-assinado com the Mildred Snitzer Orchestra: uma colecção de temas lendários, envolvendo autores como Herbie Hancock, Lalo Schifrin e, last but not least, Marianne Faithfull.
Entre as preciosidades recriadas com algumas vozes convidadas está uma versão de Don't Worry 'bout Me (Rube Bloom/Ted Koehler), cantada por Fiona Apple, e ainda Let's Face the Music and Dance (Irving Berlin), com Sharon Van Etten — para interpretar esta última, estiveram todos no show de Jimmy Kimmel; em baixo, recorda-se o mesmo tema tal como surgiu no filme Follow the Fleet/Siga a Marinha (1936), com Fred Astaire e Ginger Rogers, sob a direcção de Mark Sandrich.