Trata-se de uma edificação de tipo conventual, concluída durante o reinado de D. João V e inaugurada em junho de 1750 pelo seu fundador, o padre D. António Domingos de Sousa.

O Recolhimento da Soledade funcionou, durante mais de 250 anos, como casa de acolhimento dos órfãos e das viúvas da vila salineira e, depois, da cidade fabril.

Atualmente, na Casa da Baía está instalado um Centro de Promoção Turística e o Centro Interpretativo do Roaz do Estuário do Sado; a Casa do Moscatel de Setúbal; o Espaço de Difusão de Informação online e a Associação da Baía de Setúbal – “Uma das Mais Belas Baías do Mundo”.