受欧风东渐的影响,戊戌变法前,一些有识之士倡言仿效外国,建立公共图书机构,如光绪二十一年(1895年)康有为在《上清帝请大开便殿,广陈图书书》中,奏请搜罗图书,培育人才。次年,梁启超撰《论学会》,论及“今欲振中国,在广人才,欲广人才,在兴学会”。学部参事罗振玉上《京师创设图书馆私议》条陈,指出:“保固有之国粹,而进以世界之知识,一举而二善备者,莫若设图书馆……鄙意此事亟应由学部倡率,先规划京师之图书馆,而推之各省会。”并提出五条具体办法。他们的这类主张得到枢要重臣张之洞、封疆大吏刘坤一的赞同。二人曾三次联名上疏,倡议进行改革,将西方科学引进中国,大力改进中国教育、行政和军事体制,通称“江楚会奏三折”。光绪三十一年(1905年),清政府兴学校,废科举,湖南建立了全国第一个图书馆。
光绪三十三年(1907年),张之洞调任军机大臣,以体仁阁大学士兼掌学部,次年为筹建京师图书馆购湖州姚觐元“咫进斋”和扬州徐乃昌“积学斋”私人藏书入京,常熟瞿氏铁琴铜剑楼雇人把若干种书抄成副本,原本供于京师。宣统元年(1909年),学部上《筹建京师图书馆折》,9月9日被奏准兴建京师图书馆,任命缪荃孙为监督,徐坊为副监督,杨熊祥为提调,设馆于什刹海广化寺,次年京师图书馆成立,是为北京图书馆之前身。