Em Agosto de 1987 a capa do single
What Have I Done To Deserve This apresentava uma foto, de Eric Watson, de Neil Tennant e Chris Lowe evocando memórias de 60, frente a uma imagem de 1964 de Dusty Springfield, presente em dueto no single.
Design de Mark Farrow, sob conceito defindo com a ajuda dos próprios Pet Shop Boys.