En 1867, el obispo Lluch y Garriga construyó el ala derecha del palacio, poniendo la puerta principal entre ambas partes. Además dotó al recinto de un amplio jardín interior con pórtico. El edificio, de marcado estilo neoclásico, combina algunos elementos barrocos en la puerta principal, que se corona con un frontón curvilíneo, donde se sitúa el escudo episcopal perteneciente a este obispo.

El Palacio dispone de amplios salones y tres patios. Ha sido residencia temporal de seminaristas, de las carmelitas descalzas, de las religiosas del Císter y, desde su restauración en 1982, una parte del edificio acoge la Casa de la Cultura con Salas de Exposiciones y Salón de Actos, y la parte más antigua es utilizada por la parroquia para actividades religiosas. En el patio se encuentra la antigua esfera del reloj de la Basílica y la originaria Cruz del Siglo realizada con madera, que se instaló en 1901 en la Hoya Alta. Hace unos años fue sustituida por otra que se puede ver desde el Casco y que se ilumina en las grandes solemnidades, como la Fiesta de la cruz y El Pino.