A 12 de novembro de 1855, fundou-se o Club Setubalense, que logo se estabeleceu nos Paços do Duque, atuais instalações do Governo Civil. Após 30 de janeiro de 1926, instalou-se no atual edifício, construído para o acolher.

Terá sido concebido pelo desenhador Jorge Paiva Diniz, funcionário municipal e autor dos projetos de muitos outros edifícios construídos na cidade por aquela época.

Este imóvel caracteriza-se pela volumetria simples e rígida, pela fachada de desenho marcada e profusamente decorativa, testemunho de arquitetura eclética e revivalista, ao gosto da burguesia contemporânea.

Apresenta elementos ornamentais de cariz neoclássico e fachadas diferentes entre si, ainda que igualmente exuberantes, pela decoração e pelos trabalhos em massa, de inspiração barroca.