Il monastero e la chiesa furono fondati nel 1462 a circa un miglio da Conversano sulla via per Rutigliano. La chiesa fu costruita su una grotta naturale anticamente adibita a chiesetta, ma poi abbandonata e rimasta sepolta per essere miracolosamente ritrovata nel XV sec., quando, secondo una antica leggenda, la Madonna apparve in sogno ad una fanciulla indicandole il luogo in cui si trovava una grotta con un suo dipinto. La ragazza si recò sul posto indicatole nel sogno e lì fu ritrovata la cripta nella quale i fedeli poterono ammirare l'immagine dipinta della Vergine Maria. La notizia si sparse e nella cripta accorse il vescovo Pietro Migolla, che benedisse il luogo. Su quella cripta, con le elemosine dei fedeli, fu edificata la chiesa di Santa Maria dell'Isola e, grazie ai favori concessi dal conte Giovanni Antonio Orsini del Balzo e dal suo successore, il conte Giulio Antonio Acquaviva, fu costruito il convento. Nel 1463 nel monastero si stabilirono i frati francescani minori osservanti, detti anche zoccolanti, e intorno al 1480 visse nel convento il Beato Giacomo di Bitetto.

La chiesa è costituita da due navate con quattro campate quadrangolari e tre cupole sistemate in asse, di cui la prima è a botte e le altre due sono a cupola. Sulle pareti poggiano sei altari rinascimentali, alcuni in legno dorato e ricchi di decorazioni intarsiate. In fondo alla navata principale, dietro l'altare, si osserva il cenotafio dedicato ai conte Giulio Antonio Acquaviva e alla moglie Caterina Orsini. Opera tra le più singolari nel suo genere, realizzata da Nunzio Barba di San Pietro in Galatina, in pietra verde, rappresenta in basso le virtù Cardinali (prudenza, giustizia, fortezza, temperanza) ed in alto le virtù teologali (fede, speranza, carità). Al centro si osservano le immagini del conte Giulio con la consorte, coricate sul fianco, rivestite del saio francescano, e l'epitaffio che esalta le imprese valorose del conte. In fondo alla navata sinistra si trova un antico crocifisso, il Cristo nero, che è venerato dall'intera città ed è recato in processione il giorno del Venerdì Santo.

Il monastero sorge intorno a due chiostri: quello più piccolo ed antico è composto da un ambulacro (è il corridoio tra le celle e il colonnato coperto da volte a crociera); il più grande, eretto verso la fine del XV sec., conserva una serie di dipinti secenteschi con storie bibliche e personaggi legati all'ordine francescano.