A ideia era já antiga, a canção tinha letra ainda dos tempos em que Neil Tennant trabalhava na
Smash Hits e a ideia original apontara-a para surgir no alinhamento do álbum de estreia. Co-assinada por Allee Willis (que tinha já trabalhado com as Pointer Sisters ou os Earth Wind & Fire), estava desde cedo destinada para um desejado dueto com Dusty Springfield, cuja carreira há muito perdera visibilidade. Sem aparente resposta, acabou fora do primeiro álbum. Mas meses depois, numa altura em que estavam já a gravar
Actually, a cantora respondeu e assin nasceu em
What Have I Done To Deserve This? mais um clássico desta etapa na carreira do grupo, com carreira de sucesso que levaria o single (o segundo extraído do alinhamento do álbum) ao número dois tanto no Reino Unido como nos EUA. O sucesso do single reativaria a carreira da cantora, que pouco depois gravaria um novo álbum de estúdio, criado juntamente com os Pet Shop Boys.
O teledisco explora iconografia do espaço do
music hall, junta o grupo a músicos e dançarinas e cruza essas imagens com outras, de Dusty Springfleid.
