很久很久以前，人們就已經知道應該把知識保存下來，經年累月留存的知識放在專門的館舍供人參考使用，這是圖書館的大致由來。
首先來看「圖書」。「圖書」二字是源自中國古代的河洛圖書，也就是所謂「河出圖，洛出書」，圖是繪圖，書是文字的紀錄，圖書就是古今圖籍的總稱。所以，蒐藏和利用圖書資料的地方稱為圖書館。
而「圖書館」這個名詞是從日本來的。光緒22年(西元1896年) 8月21日刊登在時務報第16期的一篇名為「古巴島述略」的譯文裡有「圖書館」這個名詞。(註1)
至於中國何時出現 「圖書館」一詞，目前可查證到的是光緒32年(西元1906年) 11月1日湖南巡撫龐鴻書上奏清廷，奏請設立「圖書館」在湖南省會長沙。奏文內容為：查東西各國都會，莫不設有圖書館，所以庋藏群籍，輸進文明，于勸學育才，有大裨益。
西方實體圖書館
圖書館究竟出現於何時已無法確知，不過，世界上的文明古國皆為早期圖書館的重要發祥地。在西方，西元3000年前的埃及就有圖書館，所收藏的資料多是寫在紙草(Papyrus)上的文件；西元2000年前的巴比倫也有圖書館，所收藏的資料是刻在泥片(Clay Tablet)上的紀錄；希臘在柏拉圖時代就有規模不錯的圖書館，後來亞里斯多德收集當時的各種學術資料，並保存在其講學的地方「賴修慕」(Lyceum) ，是古代希臘著名的圖書館。而亞歷山大大帝在尼羅河三角洲西岸所建的亞歷山大圖書館號稱為當時西方最大的圖書館，可惜後來燬於大火。
中國實體圖書館
在安陽殷墟出土的文物，已證明殷商時期已有圖書館。依史記記載，周代還有專門管理圖書的官吏，稱為柱下史或藏室史，老子曾經官拜周藏室史，所以老子可算是中國最早的國家圖書館館長。漢高祖時代，蕭何收集秦代的圖籍，並建石渠、天祿二閣來收藏，從此便有專用的國家圖書館。
註1：《時務報》是晚清維新運動中較具影響力的自辦報刊，其中「域外報譯」以英文、日文為主，並涉及了法文、俄文等92種外文報刊，共計出版譯稿1706篇，關於科學知識的內容有145篇。參考來源：《時務報》維基百科
延伸閱讀：教育部大學通識課程－圖書資訊應用－單元5