Die Erzbischöfliche Diözesanbibliothek entstand aus der Bibliothek des 1615 gegründeten alten Kölner Priesterseminars. Nach dessen Schließung gingen die Bestände großenteils verloren, und nur ein Rest verblieb der Diözesanbibliothek, die 1738 neugegründet wurde. Grundlage war die Büchersammlung des Stifters, des kurkölnischen Amtmanns Johann Jakob von Broich, die dieser vermutlich aus der Hinterlassenschaft des Abbé Jean Paul Bignon erworben hatte, des Sekretärs und Bibliothekars Ludwigs XIV.

Zu den Handschriften der Diözesanbibliothek gehören überwiegend spätmittelalterliche Manuskripte, aber auch hochmittelalterliche Werke wie ein Evangeliar des 11. Jahrhunderts aus dem Stift Mariengraden. Auffallend ist der Reichtum an kunsthistorisch bedeutenden Chorbüchern, wie das „Valkenburg-Graduale“. Die Bibliothek wuchs danach vorwiegend durch Schenkungen, Hinterlassenschaften oder die Aufnahme aufgelöster Pfarrbibliotheken. So enthielt die Diözesanbibliothek vorwiegend theologische Literatur aller Zeiten und aller Richtungen, historische und politische Quellenwerke des 18. und 19. Jahrhundert und daneben auch die übrigen Geisteswissenschaften. 1835 kam die mit 14.000 Bänden beeindruckende Sammlung des Kölner Erzbischofs August Ferdinand Graf Spiegel dazu. Sie umfasst sämtliche Wissenschaftsgebiete und steht heute in ihrer geschlossenen Ordnung im Maternushaus.

Seit 1930 sind die Diözesanbibliothek und die Dombibliothek organisatorisch miteinander vereinigt. Die Dombibliothek wurde als Dauerleihgabe des Kölner Domkapitels in die Diözesanbibliothek integriert. Seitdem lautet der offizielle Name "Erzbischöfliche Diözesan- und Dombibliothek".
Das barocke Bibliotheksgebäude in der Marzellenstraße wurde gegen Ende des Zweiten Weltkriegs vollständig zerstört, die Bestände waren jedoch rechtzeitig ausgelagert worden. 1957 wurden sie in einem neuen Gebäude in der Gereonstraße wieder zusammengeführt. 1983 konnten dann die großzügigen Räumlichkeiten im Maternushaus bezogen werden.

Im Jahr 2004 wurde vertraglich festgelegt, dass die Buchbestände des Dominikanerklosters St. Albert in Bornheim-Walberberg als Dauerleihgabe an die Erzbischöfliche Diözesan- und Dombibliothek Köln übergeben werden. Seit 2009 lautet der offizielle Name der Bibliothek deswegen "Erzbischöfliche Diözesan- und Dombibliothek Köln mit Bibliothek St. Albertus Magnus".

Die Erzbischöfliche Diözesan- und Dombibliothek Köln mit Bibliothek St. Albertus Magnus ist heute eine der größten theologischen Spezialbibliotheken im deutschsprachigen Raum mit einem Bestand von derzeit 800.000 Bänden, 890 Handschriften und 700 Inkunabeln sowie 1.400 laufenden Zeitschriften. Der fachliche Schwerpunkt des Buchbestandes liegt auf den Gebieten Katholischer Theologie, Religionspädagogik, Philosophie sowie Rheinische Kirchengeschichte und Kunstgeschichte.