El Palacio de Velada fue construido en el siglo XVI por D. Gómez Dávila y Toledo, Marqués de Astorga y de Velada, título que fue fundado por Felipe II el 30 de Octubre de 1557.
El territorio era frondoso por sus arboles de naranjos, limoneros, morales, alisos, según una memoria publicada en 1578, con excelentes jardines, estanques y huertos.

Tiene un monte de encinas, que cercando en parte la población, se extiende un gran termino, ofreciendo abundante caza y un lugar para el ejercicio de una actividad noble como la cinegética.

El edificio tiene dos torreones, su fachada con bellas arcadas, algunas ciegas, en las que hay dos estatuas, rodeado de paredes almenadas; el patio con hermoso zaguán en cuyo pórtico campea un escudo de armas, ahora picado tal vez por desconocer las mas elementales nociones del arte; su interior según documentos, tenía grandes salones decorados con frescos, preciosas pinturas y hermosos tapices (herencia del Infante don Luis Antonio de Borbón).

Una de las estancias llamada el “saloncito de los secretos”, sus paredes y techumbres estaban cubiertos de preciosos azulejos talaveranos “antiguos”, con una resonancia admirable, se dice que es mejor que la sala de los secretos de El Escorial, (existe un procedimientos judicial pendiente, por la abogacía del Estado, reivindicando los azulejos de cerámica que actualmente se encuentran en un museo toledano). Poseía un magnifico archivo y biblioteca, con importantes documentos recopilados durante los virreinatos, embajadas y otros empleos del mencionado Marqués.

El 3 de julio de 1776, el infante don Luis Antonio de Borbón y Farnesio, hermano del rey Carlos III y doña María Teresa de Vallabriga pasaron en el Palacio de Velada su larga luna de miel, acompañados de su séquito y de la familia de Boccherini, invitados por sus queridos amigos los Condes de Altamira, don Vicente Isabel de Osorio de Moscoso y doña María Ignacia Alvarez de Toledo, Marqueses de Astorga y de Velada (retratados por Goya).

Después de vivir cerca de un año en Cadalso de los Vidrios, donde nació su primer hijo, el infante don Luis decide establecer su residencia en el Palacio de Velada, por deseo de su esposa María Teresa; cediéndolo su propietarios en el año 1778, mientras encarga la construcción de un palacio en Arenas de San Pedro, pues las casas donde nació su segundo hijo, no reunían unas condiciones agradables. En sus desplazamientos entre Velada y Arenas, contó con caminos relativamente fáciles y puentes restaurados y a estrenar.

La vida cotidiana en Velada transcurría tranquila y apaciblemente entre veladas musicales, partidas de caza y largas tertulias. Las cuatro grandes aficiones de don Luis: la música, el coleccionismo, las ciencias naturales y la caza podían desarrollarse allí de forma más que satisfactoria.

EL 26 de noviembre de 1780 nació en el Palacio de Velada, el tercer hijo del infante, que se bautizó con el nombre de María Teresa, la que se convertiría en la esposa de Manuel Godoy en 1797, y Condesa de Chinchón, tras renuncia de su hermano el cardenal Luis María de Borbón.

En el año 1781 el palacio recibe a la reina de Portugal doña María Ana Victoria, que había acudido a visitar a su hermano el infante.

El 6 de junio de 1783, doña María Teresa da a luz en el palacio a su último hijo, una niña que es bautizada con el nombre de María Luisa Fernanda, que al paso de los años sería duquesa de San Fernando de Quiroga, por su matrimonio.

En Arenas de San Pedro, el día 7 de agosto del año 1785, fallece el infante don Luis Antonio; su viuda que vivirá amargada sin sus hijos en el deprimente e inacabado palacio de la Mosquera, hasta el 25 de octubre de 1786 que alcanza de Carlos III el permiso de establecerse en el acogedor Palacio de Velada, donde permanecerá hasta el día 15 de noviembre de 1792, trasladándose a su ciudad natal de Zaragoza, al palacio de Zaporta (hoy sede central de IberCaja) donde fallecería el 16 de febrero de 1820. Así termina la aventura de su matrimonio morganático con el hermano del rey de España.

Nada más morir el infante don Luis, Carlos III encomendó al Conde de Carpio, formalizar el inventario de todos los bienes, entre otros “ropas, mueblaje y otros efectos de las existencias en Boadilla, Villaviciosa, Arenas y Velada”.

El catedrático doctor don Juan José Junquera y Mato en su libro El Infante don Luis y su gusto: del mundo galante al Sturm und Drang, comenta: “El lugar elegido fue Velada y su palacio, ¿Qué encontró allí don Luis?” Ponz nos lo cuenta: “ante la dura realidad de aquellos predios, nos cuesta trabajo imaginarlo hoy. De los arrayanes y arbustos, que en un alarde topiario formaban los cuarteles del jardín, nada queda. Hoy es todo ruina, desolación y olvido.”