A ideia começou num encontro com Allen Ginsberg numa livraria em Nova Iorque. Glass desafiou-o para um trabalho comum e, com Wichita Vortex Sutra na mão, Ginsberg anuiu. O poema, que refletia sobre um certo clima anti-guerra que era partilhado por muitos na América de meados dos sessentas, ganhou assim nova vida numa leitura no Schubert Theatre, na Broadway. Em tempo de campanha para as presidenciais de 1988, Glass sentia que nenhum dos candidatos falava dos assuntos do mundo presente. Pelo que desafiou Ginsberg a alargar a ideia para um programa maior. Juntos encontraram uma série de visões sobre a América dos anos 50 a 80 através de poemas de Ginsberg (entre os quais um excerto do mítico Uivo) para os quais compôs música nova para um pequeno ensemble.
Hydrogen Jukebox surge assim como uma pequena ópera de câmara. Junta 15 canções, divididas entre seis vozes, às quais se junta a do próprio Allen Ginsberg, que toma o papel de narrador. A música, para teclados, instrumentos de sopro e percussão, traduz ecos de um tempo de abertura da música de Philip Glass a outros estímulos rítmicos e tímbricos (que a música para o filme Powaqqatsi aprofundaria). Philip Glass junta-se ao ensemble, tomando o piano. Os poemas de Ginsberg são arrumados em volta de seis figuras que representam arquétipos da sociedade norte-americana: uma empregada de mesa, uma mulher polícia, um homem de negócios, um padre, um mecânico e uma cheerleader.
Hydrogen Jukebox teve edição em disco pela Nonesuch em 1993, num lançamento em um único CD cujo booklet apresenta uma contextualização assinada pelo próprio Philip Glass e inclui os poemas de Ginsberg que servem de base ao trabalho. Mais recentemente Glass regressaria à poesia de Allen Ginsberg na sua Sinfonia nº 6 que toma como ponto de partida o poema Plutonian Ode.