Desde la conclusión de los trabajos del concilio de Trento hasta 1583 los obispos de Jaén no llevaron a cabo gestión alguna para hacer realidad en la diócesis el canon que prescribía la creación de los seminarios.

El Obispo D. Francisco Sarmiento de Mendoza llevó a cabo cinco intentos por crear el seminario, proyectos que uno tras otro fueron fracasando.

Antiguo seminario de San Felipe Neri -Baeza-

En el siglo XVII, un primer intento de fundación fracasó bajo el episcopado del cardenal Moscoso y Sandoval. Cuarenta años después, D. Fernando de Andrade y Castro establece el seminario conciliar en Baeza, dotado con bienes de su propiedad. El nuevo colegio estaba dotado de doce plazas de estudiantes de artes y teología, y seis sacerdotes formadores, bajo la advocación de S. Felipe Neri. El 24 de agosto de 1672 el seminario se traslado desde la casa de alquiler donde había estado desde su creación hasta el nuevo edificio enfrente de la Catedral. El 1 de octubre del año siguiente, el obispo D. Antonio Fernández del Campo y Angulo aprobó los primeros estatutos. 

El siglo XVIII fue una época de crecimiento para el seminario de S. Felipe Neri, de Baeza. El 4 de diciembre de 1714, D. Rodrigo Marín y Rubio encargó la dirección y administración del centro a la congregación del Oratorio. El obispo Brizuela y Salamanca hizo prolongar la parte occidental del edificio, y los marqueses de Jabalquinto cedieron y donaron a los oratorianos su palacio, situado en la calle de las Escuelas y Cuesta de S. Felipe, separado del seminario tan sólo por una calle que generosamente cedió a su vez la ciudad para la unión de ambos edificios. En esta centuria el número de alumnos pudo ser aumentado gracias al crecimiento de las rentas, y a finales de siglo el colegio-seminario albergaba unos ochenta colegiales.