El Monasterio fue construido originalmente en 1595 sobre lo que era el Palacio del Inca Amaru Qhala. En 1598, el sexto Obispo del Cuzco, monseñor Antonio de la Raya, dispuso la fundación del Seminario de San Antonio Abad en estas instalaciones, para la formación de sacerdotes católicos.
La construcción fue seriamente dañada por el terremoto ocurrido en 1650. Con la restauración, se construyó una hermosa capilla que fue decorada al estilo barroco indígena con marcos en pan de oro y magníficas pinturas de los mejores artistas de la Escuela de Arte Cuzqueño, que retrataban escenas de la vida de San Antonio Abad.
En 1692, mediante edicto papal del Papa Inocencio II y Carta Real expedida por el Rey Carlos II, el seminario se convirtió en Real Pontificia Universidad. Sin embargo, en 1816, un decreto real del Rey de España anuló esta autorización y la institución volvió a ser un seminario hasta el 30 de mayo de 1965, cuando el edificio fue remodelado y convertido en hotel.
El Hotel es un monumento histórico nacional, protegido por el INC (Instituto Nacional de Cultura) y ha conservado sus características y encanto originales. Es un modelo espléndido del estilo renacentista colonial, conformado por tres secciones distribuidas a diferentes niveles. El corazón del Hotel es el Patio Principal con una pileta y un tricentenario árbol de cedro rodeado de jardines y las famosas veredas construidas de adoquines de piedra.
Las piedras que conforman el pórtico de la enorme puerta de ingreso de madera con vista a la Plazoleta Nazarenas aún lleva el Escudo de Armas español y la imagen del Obispo monseñor Juan Serricolea y Olea.
