Su historia se inicia en 1497, cuando se fundó el convento servita al trasladarse monjes de esta orden a una ermita rupestre dedicada a San Miguel en Ladruñan, en un paraje cercano a Las Cuevas de Cañart. Este primer convento tuvo que abandonarse a causa de la peste. Pero poco después, en 1617, se fundó un nuevo convento en la misma cueva. A principios del XVIII las lluvias produjeron varios desprendimientos estropeando el claustro y algunas dependencias conventuales, lo que empujó a los monjes a solicitar su traslado a Las Cuevas de Cañart. El padre Faci explica que se trasladaron los Padres a su nuevo convento, fundado cerca de la Villa, en 10 de mayo de 1727.
Este convento, como tantos otros, resultó afectado por la Desamortización de Mendizábal de 1836 y las Guerras Carlistas provocando la ruina del inmueble y la dispersión de sus bienes muebles.
Pascual Madoz, en su Diccionario (1845-1850), indica que varias de las obras que contuvo su templo fueron trasladadas a Montalbán, Castellote y Calanda. (aunque hay algunos muebles en la sacristía de la iglesia de San Pedro en Cuevas que parecen provenir del convento). Tras la exclaustración, los carlistas fortificaron el convento y lo convirtieron en hospital para sus tropas. En 1840 cuando Espartero toma el Castillo de Castellote, las tropas liberales destruyen el convento para que no volviese a servir de refugio a los carlistas.
Las ruinas conservadas pertenecen a la iglesia dedicada a San Miguel, construida en estilo rococó, con una planta de salón que solo mantiene algunos de sus esbeltos pilares decorados con estuco. La portada se remata con un relieve de la Piedad y está fechada en 1750. Otros relieves decoran una capilla o sacristía junto al altar mayor.
Hace pocos años se descubrió otro relieve que estaba semienterrado no muy lejos de la iglesia del convento. El relieve representa una Piedad y no se encuentra en buen estado de conservación. Probablemente perteneció a un acceso exterior a otras dependencias del convento.
Del conjunto monacal, que debió ocupar una gran extensión de terreno, solo se conservan las ruinas de su iglesia representando aproximadamente el 10% de la superficie total. Junto a la iglesia se abría un enorme claustro que daba acceso a las dependencias más importantes del convento: Escuela, Botica, portería, carpintería, refectorio y bodega. Otras dependencias se sumaban al conjunto, como cocinas, graneros, cuadras y el huerto con varios gallineros. También contaba con una hospedería junto a una puerta que daba acceso al soportal, espacio cubierto sobre cuatro columnas que permitía dar atención a los pobres.
