Es uno de los palacios más bonitos de Madrid, aunque pase desapercibido al viandante que pasa por la calle de Santa Isabel.
Con un estilo es sobrio. solo se pueden visitar parte de la primera planta, ya que el resto del edificio esta destinado a oficinas de la Fundación del Ferrocarril.
Construido a finales del siglo XVIII por orden del primer duque de Fernán Núñez junto al convento de Santa Isabel.
En 1815 el palacio es heredado por el conde de Cervellón, que contraería matrimonio con la duquesa de Fernán Núñez, hija del primer duque.
Fue uno de los palacetes más visitados por la reina Isabel II, ya que por aquel entonces se celebraban numerosos bailes a los que acudía gran parte de la alta sociedad madrileña. Algunas de las fiestas más reconocidas eran aquellas celebradas con motivo del carnaval, en las que la nobleza hacía gala de sus mejores vestimentas.
Baile de disfraces el palacio
En 1941, se vendio el Palacio por la duquesa viuda de Fernán Núñez a la Compañía Nacional de los Ferrocarriles del Oeste de España. En ese mismo año se nacionalizó la red ferroviaria y nació RENFE, que instaló en el edificio su Consejo de Administración y emprendió una remodelación para adaptarlo al nuevo uso. Entre 1967 y 1980 albergó el primer museo del ferrocarril de España, y en 1985 se convirtió en sede de la Fundación de los Ferrocarriles Españoles.
El museo se traslado a la estación de Delicias en 1984
La casa de Rafael 