Como escritor debutó en 1968 con A través del tiempo. En la década siguiente llegarían también Los trucos de la muerte y Desapariciones y fracasos. De 1984 data Juegos para aplazar la muerte; un año después publicó Antes que llegue la noche, premio Ciudad de Barcelona.
Autobiografía conversada
Los galardones siguieron rondándole. Galerías y fantasmas obtuvo en 1988 el Loewe y fue finalista del Premio Nacional de Poesía. Su autobiografía, Sin rumbo cierto -un verso de Rubén Darío-, narrada en primera persona pero concretada a partir de sus conversaciones con el crítico y editor Fernando Valls, ganó el premio Comillas. El texto pretendía ofrecer una lectura alternativa al retrato que había alimentado el filme de Jaime Chávarri El desencanto. Con todo, Panero negaba que fuese un ajuste de cuentas. «No pretendía meter a todos los idiotas que me he ido encontrando en el mundo», aseguró, aunque tampoco obvió incluir su agitada vida sentimental. «Pero he sido respetuoso, porque si no me hubiera presentado a la Sonrisa Vertical [premio de literatura erótica]», ironizó en la presentación.
