Della antica chiesa  dedicata a “San Giacomo”si hanno notizie fin dal 1241. Il vescovo Angelo de Raymo aggiunse, nel 1410, il nuovo “Ospedale per i Pellegrini e per gli Infermi”, eretto con le offerte dei cittadini. Nel 1731 il vescovo F. Tipaldi lo demolì per costruirvi il “Rifugio”. Dopo il sisma del 1732, lo stesso vescovo, lo trasformò in “Convento delle oblate di San Francesco Saverio” e come testimonia il Vitale: “Per l’ erezione di tal luogo pio ne fu rovinato un altro, cioè l’ Ospedale per gl’ Infermi, e per i Pellegrini. Imperciocchè il Conservatorio fu fondato nel sito dell’ Ospedale, che nella Visita Vescovile del 1724 si legge così descritto: Illustrissimus Dominus, visitando domum ad usum Hospitalis pro Peregrinis, et Infirmis erctam de anno 1410 in ea reperit magnam Aulam, a qua pater distinctus ingressus ad Cubiculum Hospitalarii, Coquinam, mansionem pro mulieribus, mansionem pro Sacerdotibus, mansionem pro Civilibus Peregrinis, promptuarium suppellectilium dicti Hospitalis, et aliam praegrandem mansionem, eisque circuì circa contiguae adsunt aliae Mansiones, et officinae, ad quas ingreditur per Atrium dicti Hospitalis, cui etiam adjacet viridarium. E l’ Ospidale fu poi situato poco lontano, cioè fuori la Porta della Strada, in una piccola, e meschina casa”. Le strutture ancora oggi visibili sono quelle settecentesche, successivamente ampliate. Il Flammia ci da una bella descrizione dell’ ospedale nel 1893: “L’ ospedale, tanto per i pellegrini, come per gl’ infermi fu aperto nel 1410, nel luogo dove attualmente stanno le oblate di S. Francesco Saverio Conservatorio. Doveva essere un comodo edifizio, perché vi erano camere per le donne, per i sacerdoti, per i pellegrini di riguardo, non usandosi allora le locande, una lunga sala, camerate per i poveri, letti per gli ammalati. Non si sa perché fu tolto da quel luogo e confinato presso la porta della Strada, nel sito dove trovasi ora, e tutto il fabbricato colle rendite ceduto alle Monache. Presso l’ ospedale fu eretta la chiesa di S. Giacomo o della Trinità dei Pellegrini colla congrega, la quale, sino ai tempi nostri, godeva la fratellanza della Congrega della Trinità dei Pellegrini di Roma, e vi andavano ospiti gratuiti i congregati di Ariano. L’ ospedale restò dal principio del secolo passato quasi abbandonato. Dal 1888 si cominciò a pensare di ridurlo in forma conveniente, perché era una vergogna per la seconda città della Provincia non avere un nosocomio. Così, con un poco di buona volontà, si riuscì a racimolare le rendite di alcune cappellanie che erano soppresse, quelle di S. Oto, del Corpo di Cristo, di S. Maria del Carmine (14 aprile 1890). La Provincia assegnò L. 2000 annue, il Comune 800. Le rendite patrimoniali oggi sono arrivate a L. 584, cosicché la Congrega di Carità dispone di L. 3384. Sono assegnati 10 letti. Il locale è stato quasi rifatto con salette pulite, arieggiate, cucina interna, un armadio farmaceutico, uno chirurgico, mobilio, biancheria, archivio, sala dermofilopatica, ufficio di Presidenza”. Inoltre  viene descritta anche l’ aspetto gastronomico “vitto, razione ordinaria del mattino, vaccina-lessa grammi 150, pastina grammi 100, pane grammi 400, vino decilitri 3, arrosto grammi 100”. All’ “Ospedale Civile”, come si chiamava sul finire dell’ 800, furono condotti nel 1889 al piano terreno dei  lavori di restauro  mentre nel 1896  iniziarono i lavori di costruzione del secondo piano. Agli inizi del XX secolo l’ edificio ospitò le scuole elementari per ritornare dopo il II conflitto mondiale alla sua originaria funzione di ospedale cittadino fino agli anni ’70 del XX.