La hermandad se funda el día 15 de mayo de 2007 por decreto del obispo diocesano monseñor Antonio Ceballos Atienza, dándose a conocer el día 20 de mayo en la iglesia de María Auxiliadora. Su primera junta de gobierno toma posesión el día 3 de junio siendo su primer hermano mayor Luis Manuel Rivero Ramos y su director espiritual el reverendo padre José Antonio Perdigones.

Una señora, la cual no quiso dar su nombre, regaló el día 7 de septiembre de 1949, a D. Santiago Moreno Ruíz, una imagen deteriorada que veneraba en su oratorio particular como Nuestro Padre Jesús de las Penas. Dicha imagen fue restaurada por el escultor gaditano Miguel Láinez Capote y bendecida el 10 de abril de 1954, por el párroco de San Lorenzo, padre Francisco Jiménez-Alfaro y Gutiérrez. En torno a esta imagen se constituyó la Junta Pro-Cultos, fundándose la Cofradía de Nuestro Padre Jesús de las Penas el día 23 de noviembre de 1955, por Decreto del obispo Tomás Gutiérrez Díaz.

El día 6 de julio de 1944, siendo obispo de la Diócesis Tomás Gutiérrez Díez, se erigió canónicamente en la parroquia de San José, eligiéndose en cabildo 10 días después la primera junta. Realiza su primera estación penitencial en la Semana Santa de 1945 con un único paso. Hasta 1974, excepto algunos años por circunstancias especiales, realizó su salida procesional desde la Iglesia de San José, en extramuros, recogiéndose en diversos templos del casco antiguo; en 1975 realizó su salida desde la Catedral y a partir de 1976 desde la iglesia conventual de Nuestra Señora del Carmen.

La Orden Servita se origina en Florencia donde siete caballeros, el Viernes Santo de 1233, deciden crear una fundación para meditar sobre el dolor de María y la pasión de Cristo.

El Papa Inocencio IV aprueba las primeras constituciones de la Orden Terciaria de Siervos de María en 1242, con tres facciones: dos religiosas y una seglar.