En esta canción, Bono describe una relación tortuosa de la que no puede escapar. La letra tiene muchas interpretaciones, aunque el cantautor explicó que quería escribir una canción de amor que abordara problemas reales.
Bono, quien llevaba cinco años casado con Alison Stewart cuando se lanzó The Joshua Tree, describió la letra de “With or Without You” como “puro tormento” y contó que concibió esto como parte de una trilogía, con otras dos canciones que no llegaron al álbum.