Het begin van de tegenwoordige Stads- of Athenaeumbibliotheek ligt in het jaar 1560. Toen kocht het stadsbestuur de boekenverzameling vande overleden Johannes Phoconius, pastoor van de Mariakerk. De verzameling bestond uit 44 boeken en was bevond zich in zijn huis in de Papenstraat. In 1569 werden deze boeken ondergebracht in het Heer Florenshuis, waar ze werden toegevoegd aan de al aanwezige verzameling . In 1598 kreeg de collectie de naam Stadsbibliotheek. nadat de bekende predikant en schrijver Jacob Revius de leiding kreeg over de bibliotheek werden er veel nieuwe boeken aan toegevoegd. Toen in 1630 het Athenaeum Illustre werd opgericht kreeg de Stadsbibliotheek tevens de functie van Athenaeumbibliotheek.
In de achttiende eeuw werd weinig aangeschaft, maar in de negentiende eeuw ging het beter door een schenking van koning Lodewijk Napoleon in 1809 en de komst van een grote collectie uit de bibliotheek van de opgeheven universiteit van Harderwijk. Twee jaar later werden de boeken van de Stads- of Athenaeumbibliotheek naar de bovenverdieping van het stadhuis overgebracht. In 1971 verhuisde de boekencollectie naar het Buiskensklooster, dat toen juist geheel gerenoveerd was. Daar bevindt zich de prachtige verzameling nog steeds. Het bevat o.a. zeer waardevolle oude handschriften en gedrukte boeken uit de begintijd van de boekdrukkunst.
Verw. 1: Buiskensklooster; verw. 2: Jacobus Revius; verw. 3: Noordenbergkwartier