自元代至清代，國子監曾是國家最高學府。因遍布於全國各地的府州縣各級官學亦歸其統領，故而它也是國家最高教育管理機構。其衙址在今北京內城北部的成賢街，與孔廟相鄰，始建於元至元二十四年（公元１２８7年），距今已逾七百年之久。當今所存之建築和規制形成於明代永樂時。明洪武時，太祖於南京建國子監。後成祖朱棣遷都北京，即仿建之，而規模有所縮減。時至清代，又在原有基礎上輒有增益。尤其是乾隆時期，高宗頗好風雅，標榜文治，曾大興土木，使之煥然一新。清亡，國子監廢，幾百年之輝煌竟成故事。如今，徜徉於雕欄玉砌之間，古木枯藤之下，思古之幽情不禁油然而生。
元代國子監之遺跡，已無從細考。其遺物只有古樹二株：槐一、柏一。一棵立於大成殿階下，一棵立於彝倫堂前，據傳皆為元代首任國子監祭酒（相當於校長兼教育部長）許衡親手所植。柏樹至今老當益壯，活力不減，“枝迎南北鳥，葉送往來風”，數百年來歷經滄桑仍傲骨猶存；而那棵槐樹卻已老態龍鐘，枝細葉疏，生氣全無，正可謂雖生猶死者也。據傳說清代時，此樹就已經“死”過一次，休眠達幾十年，然不知是何原因，乾隆時又死而復生。偏巧正逢慈寧太後的六十“萬壽”，朝野引為大吉大利之兆，於是上至高宗、下至詞臣紛紛吟詩作賦，還特為老槐畫影圖形，並泐石立碑以記之，碑至今猶存。
國子監之正門曰集賢門，為一黃色琉璃牌樓。牌樓之北，一座莊嚴而又美麗的建築便展現於眼前，此即大名鼎鼎之“辟雍”是也，乃乾隆時所創建，是為國子監之核心建築，地位頗為突出。辟雍乃古代天子講學之所，然究竟是何等模樣，歷來眾說紛紜，莫衷一是。但周圍必有一水環繞，此水名泮水也，即縈繞辟雍之正圓形水池。而當中為一四方形陸地，勸天圓地方”之意也。上面矗立著一座宏大的四方形大殿，重檐，有廊柱兩層，覆以黃色琉璃瓦，最高處為一巨大的鎦金頂，雕梁畫棟，富麗堂皇，給人以氣度非凡之感，即為辟雍殿。其四面均有門，皆可洞啟，並能通過四座石橋，跨越泮水，出入極為暢達。泮水周圍及石橋兩側皆有漢白玉欄杆，至為精美。考仿建辟雍之議，由來久矣，但至乾隆以前，皆因為無法解決通水問題而作罷。而辟雍必有泮水，不然則不倫不類。乾隆畢竟是有為之君，下令打井四眼，再從井中汲水，通過四個龍頭（螭首），自暗道注入，噴至白石砌就之泮水池中，於是問題迎刃而解。泮水池中波光瀲灩，辟雍階前蒼苔點點，誠賞心悅目之景致。自此以後，每逢二、八月祀孔釋奠之後，乾隆便乘興而來，伴著齊鳴之鐘鼓，穿過繚繞之香煙，跨過泮水，步入辟雍，南面而坐，親自主講《大學》或《孝經》一章，而王公大臣與國子監生跪聽聖諭於階下，是為天子“臨雍”之典。其實，講經純屬形式，而過一過古代天子播慧於天下之雅癮，才是乾隆不惜口干舌燥的真正原因之所在。嘉慶、道光、年間，此戲亦曾上演。而至光緒時，國事日非，清廷搖搖欲墜，斷無暇再盡如此興師動眾之雅興。泮水干涸見底，辟雍塵封逾寸，預示著大清朝離土崩瓦解殆不遠矣。
辟雍之後為彝倫堂，乃祭酒和司業（相當於當今之教務長）辦公之處所。另外，還有“四廳六堂”，四廳者，教習（即教授、講師）之辦公處；六堂者，監生之教室也。因清朝時另於國子監斜對門處另建有房舍，以供國子監生研修住宿之用，時稱“南學”，故而六堂多作為考場之場所。月考、季考皆在此舉行，誠“料得年年腸斷處”是也。
六堂之中原曾陳列著石刻《十三經》一套，此“書”每頁”寬三尺余，長七尺許，厚約一尺，其重量可想而知。據傳乃乾隆時由老書生名蔣衡者默寫而成，並獻與朝廷。高宗受之，命刻於石上，存於國子監中，以昭示大清文風之盛。似可認定此書之重量乃世界之最。國子監碑刻亦因蔣衡所寫之經而數量宏大。另有著名石刻如趙松雪臨寫之《黃庭經》、“《蘭亭序》；顏魯公之《爭座位》等為之增色。流連其中，可深深感受到我中華文化底蘊之厚重。但眾碑中亦有與斯文極不相諧者：明初，太祖為“培養”人才，對國子監十分重視，首任國子監祭酒宗訥秉承其意旨，制訂規條多種，待學生殘酷非常，學生多有不堪忍受，以致餓死吊死者。為此，國子監生曾兩次集體抗議，即當今所謂“學潮”。第二次學潮起事者趙麟，以年青氣盛，曾張出壁報一張，盡數祭酒所定條規之弊。太祖聞之，以趙麟欲聚眾謀反，立誅之，並於國子監立一長竿，梟趙麟首級懸於其上，學潮即平。從此出現安定團結之大好局面。十年後，太祖故事重提，召集國子監全體師生訓話，其語“諄諄”，用心良苦，並刻碑記之。永樂遷都後，將此碑奉迎至此。至今似乎仍可令手無縛雞之力之學子感受到殺氣與血腥。
國子監雖號稱國家最高學府，然在科舉時代，其畢業生地位卻相對較低。其學生來源主要是全國各府州縣按名額貢入之生員，有歲貢、優貢、拔貢、恩貢、副貢等名目，號“五貢”。他們只有生員（即秀才）的功名，若想再進一步，仍須參加鄉試。唯一的照顧便是無論國子監生之籍貫，皆可應試於順天府（大致相當於今北京市）。若不再考取功名，以國子監生身份入仕，則多被用做縣丞（副縣長），或教諭、訓導等學官，秩低而俸薄，權輕而利校因此，學生學習積極性一直不高，學校課業也就相對寬松懈擔加之封建時代教學方式之陳舊落後，教學內容之枯燥貧乏，使得學生主要的功課便是背書、寫字、作文。“青春作賦，皓首窮經”，即是對此輩的生動寫照。
另外，國子監還培養了大批留學生，明洪武時期，南京國子監就有招收外國留學生的記載。先是有高麗國（公元１３９３年亡，改國號為朝鮮）學子，後日本亦遣子弟入監讀書。國子監增設號舍，專供留學生居祝 其中，“琉球（今日本衝繩）於諸夷為最篤，國家待之亦為最優。” 國子監遷北京後，繼續招收。清入主中原，起初閉關鎖國甚於明代，直至康熙二十二年（公元１６８３年），近四十年間未接收外國留學生。從康熙二十三年（公元１６８４年）開始，禮部奏曰：琉球國“國王尚貞，以本國遠被皇仁，傾心向學，懇祈使臣汪楫等轉奏，願令陪臣子弟四人赴京受業，應准所請，聽其遣臣子弟入監讀書。”康熙帝下旨允行。“自後，每遇冊封，遂沿為例”。從此，外國留學生尤其是琉球官生，入清國子監讀書者絡繹不絕。其後，朝鮮、俄羅斯、日本、琉球等周邊國家也遣員來華，從中不難看出當時國子監所具有的亞洲最高學府的學術地位。
國子監監生身份向不為世人所重，而自明朝景泰皇帝開生員納粟納馬入監（即例貢）之例之後，國子監門檻愈低。爾後捐監之風大開，監生以錢鋪路，良莠不齊，益為世人所輕。
光緒三十年（1904），清廷下詔，於明年永停科舉，各級學校皆改辦新式學堂。國子監亦停止招生，祭酒改為國子丞，只負責孔廟祭祀等事務。1912年，清廷退位，國子監亦壽終正寢。
民國元年（1912），政府在國子監成立歷史博物館籌備處；1957年，首都圖書館遷入。這集中體現出國人熱衷於對歷史文化遺產的利用，但同時亦反映出那個時代文物保護意識的淡保所幸者，該建築群保存基本完好。近年來，文物之地位飆升，國子監古建築群越來越被各界所關注。2001年首都圖書館新館落成並投入使用，其人員、藏書已全部遷出。國子監得到進一步關懷和呵護，將真正體現其珍貴的歷史價值。