O palácio, hoje museu, dos condes de Castro Guimarães foi mandado edificar por Jorge O'Neill a partir da casa original, denominada Torre de São Sebastião, que construiu em 1893, convertendo-a em palácio sob projecto de Luigi Manini (1897-1899) a que se seguiram intervenções de Karl Albrecht Haupt (1902) e do pintor-decorador Francisco Vilaça (1904).
Em 1910 foi vendido ao 1º conde de Castro Guimarães que, em testamento datado de 1924, o legava à vila e povo de Cascais representados pela Câmara Municipal, estabelecendo como condição que com a casa viesse a ser um pequeno museu municipal e biblioteca pública e os jardins um espaço de lazer para os habitantes da vila.
Falecido o conde sem descendência em 15.08.1927, entre 1929 e 1930 decorrem obras para adpatação às novas funções e em 12 de Julho de 1931 é inaugurado e abre ao público o Museu-Bilbioteca Condes de Castro Guimarães.