Em 1817, com a sua morte, é herdado por sua neta, D. Maria do Carmo da Cunha Quintela casada com o marquês de Viana que acrescenta ao palácio uma capela construída a partir de um prédio anexo situado na actual Calçada Bento da Rocha Cabral (então Calçada da Louça) que comprou para o efeito.
Em meados do século XIX, o palácio é comprado por Luís Coutinho de Albergaria Freire, 1º visconde de Monforte, cuja única filha, D. Maria José Coutinho Madlonado de Albergarua Freire casou com o 1º marquês da Praia. Com a morte do marquês, em 1913, a parte poente é herdada pelo 2º marquês da Praia e Monforte, Duarte, e a parte nascente e a capela por sua irmã D. Maria Francisca, condessa de Cuba pelo casamento. Não tendo descendência, por sua morte em 1945 deixou em testamento a capela ao Patriarcado de Lisboa e a parte do palácio a seu sobrinho-neto, D. Pedro de Sousa Holstein Beck, marquês de Sousa Holstein.