Antes de construido el convento de San Joaquín, los misioneros franciscanos se alojabán en una casa junto a la iglesia de Santa Rosa. El convento de San Francísco se construyó en los terrenos comprados en 1751 después de una campaña de recolección de fondos realizada por el padre Fernando Larrea quien llegó a Cali en 1750.
La viabilidad presupuestal de la obra se garantizó gracias a la donación de 15.000 patacones por parte del presbítero Nicolás de Hinestrosa. Las obras del convento se empezaron en 1757 y ya para 1764 se tenían terminada la capilla de la Inmaculada y convento.
Este mismo año los monjes se alojaron de manera permanente en el convento. El mismo padre Larrea vivió fue el guardián del complejo hasta su muerte en 1773. En 1861 durante la Confederación Granadina, el general Tomás Cipriano de Mosquera ordeno desalojar el convento en su política de controlar el poder de la Iglesia Católica, pero 10 años más tarde durante los Estados Unidos de Colombia fue retornado a los franciscanos tras la intervención de Eustaquio Palacios.
Aunque hay dudas sobre el año de construcción de la Torre Mudéjar, el hecho de estar al lado de la capilla de la Inmaculada es una prueba de su origen en el siglo XVII. La primera referencia escrita sobre la torre se conoce de los grabados del viajero francés André (1876) y del Bogotano Julio Flórez (1883).
En 1924 la capilla de la Inmaculada fue embellecida por el arquitecto italiano Ramelli.
La Iglesia nueva, o Iglesia de San Francísco se construyó entre 1803 y 1827. Originalmente diseñada por Andrés Marcelino Pérez de Arroyo y Valencia, quien delegó a Fray Pedro Herrera la construcción de la iglesia. Ha sufrido los efectos de los sismos de 1885, 1896 y 1925.
