Sua vida artística começou como Zé Ramalho da Paraíba, cantando em conjuntos de baile inspirados na jovem guarda e no rock inglês. O interesse pelos violeiros e pala literatura de cordel só surgiria depois, ao participar da trilha sonora do filme Nordeste: cordel, repente e canção, de Tânia Quaresma, em 1974. Por conta desse trabalho, Zé se mudou para o Rio de Janeiro (RJ), acompanhado por outros cantores nordestinos. Naquele mesmo ano, lançou seu primeiro disco, uma parceria com Lula Côrtes.
Logo Zé estava tocando viola na banda de Alceu Valença, em cujo show ele tinha chance de interpretar uma composição sua. Mas a oportunidade foi por água abaixo quando Zé resolveu modificar o roteiro de uma das apresentações da turnê. O público gostou, mas Alceu detestou e rompeu com o colega. A amizade só seria recuperada um ano depois, quando Alceu incluiu, de surpresa, uma música de Zé em seu novo espetáculo.
Sobreviver no Rio não era fácil. Zé precisou dormir em bancos de praças e trabalhar em gráfica para poder continuar apostando em seu próprio talento. Em 1977, foi convidado pelo produtor Augusto César Vanucci a ir a São Paulo (SP) participar da gravação da música "Avôhai", composição sua que seria incluída no novo disco da cantora Vanusa. E assim ele ia ganhando nome e conseguindo dinheiro. No mesmo período, Zé lançou o folheto de cordel "Apocalipse agalopado".
No ano seguinte, ele gravou seu primeiro disco solo, que não só incluía "Avôhai" como também "Vila do Sossego", "Chão de Giz" e "Bicho De Sete Cabeças". A crítica elogiou seu trabalho e o público o comprou, maravilhados com as letras cheias de imagens míticas e o tom profético das interpretações. Resultado: Zé ganhou prêmio de melhor cantor revelação da Associação Brasileira de Produtores de Disco e da Rádio Globo.
A carreira do paraibano se consolidou em 1979, quando ele lançou seu maior clássico, "Admirável Gado Novo", e o grande sucesso "Frevo Mulher".
Em 1980, Zé participou do Festival de Música Popular da TV Globo, ficando entre os 20 primeiros colocados. Mudou-se para Fortaleza (CE) e ganhou seu primeiro disco de ouro. Com popularidade crescente, no ano seguinte se destacou com as faixas "A Terceira Lâmina (cifrada)" e "Canção Agalopada", ganhando outro disco de ouro. Também lançou o livro de poesias Carne de pescoço e os livretos Apocalipse e A peleja de Zé do Caixão com o cantor Zé Ramalho.
O artista viu seu nome envolvido numa grande polêmica em 1982. Tudo porque as letras de seu disco daquele ano se assemelhavam a alguns versos do poeta irlandês William Yeats, o que lhe rendeu um processo por plágio. Ficou tudo resolvido quando a Marvel, editora que publicava O incrível Hulk, admitiu ter dado crédito ao escritor na edição da revista em quadrinhos que inspirou as composições de Zé naquele LP. E ele ganha outro disco de ouro.
Seus discos já contavam com participações especiais de muita gente famosa em 1983, quando ele voltou a morar no Rio. No entanto, sua popularidade andava em baixa, o que o levou a dar uma reviravolta em sua carreira, deixando a influência do rock dos anos 60 falar mais alto que sua raiz nordestina. Só em 1986 ele retomaria o misticismo que havia se tornado a marca registrada de sua música. Em 1990, depois de um período de ostracismo, Zé gravou um disco só de forró e fez uma série de shows nos EUA.
Em 1996, a sorte de Zé Ramalho começou a mudar. "Admirável Gado Novo", um de seus primeiros sucessos, voltou a tocar sem parar nas rádios, graças à sua inclusão na trilha sonora da novela O Rei do Gado, da TV Globo. E seu nome voltou à mídia ao participar do disco O grande encontro, resultado de um show que fez em parceria com Elba Ramalho, Alceu Valença e Geraldo Azevedo. As críticas foram tão favoráveis e o público se mostrou tão receptivo que o grupo ganhou disco de platina duplo e voltou a se reunir em outros dois CDs, lançados em 1997 e 2000, embora sem Alceu.
Com o álbum Antologia acústica, de 1997, Zé comemorou 20 anos de carreira, fazendo uma releitura de suas canções mais conhecidas, o que lhe rendeu outro disco de platina duplo. No mesmo período, foi lançado o livro Zé Ramalho - um visionário do século XX, de Luciane Alves, e um songbook com 30 letras cifradas do compositor.
Parecia uma preparação para aquele que seria seu mais importante trabalho, o CD duplo Nação nordestina, de 2000, com o qual fez uma espécie de inventário da influência do Nordeste na MPB, contando com a participação de diversos artistas e citando a obra de tantos outros. O disco foi considerado um dos melhores exemplos da fusão da música nordestina com o mundo pop.
E assim Zé Ramalho vem construindo sua obra, inspirada tanto na literatura de cordel e nos ritmos nordestinos quanto no cinema, nas histórias em quadrinhos, nos livros de ficção científica, nos seriados de TV, no rock e na mitologia, alinhavando tudo com seu jeito único de cantar, como se estivesse narrando, e com suas composições que remetem a imagens.