L’origine dell’Archivio risale al decreto del 22 ottobre 1812 di Gioacchino Murat e alla legge organica degli Archivi del Regno del 12 novembre 1818, che istituiva gli Archivi provinciali del Mezzogiorno. Inizialmente la sua sede era presso l'Ospedale degli Svizzeri, mentre nel 1831 fu trasferito nel palazzo dell'Intendenza e, circa un secolo dopo nel palazzo della Provincia di Bari.