南北大運河在歷史上曾有過三次較大的開鑿工程。第一次是春秋末期，吳國於公元前486年在今江蘇揚州附近修建了一條溝通長江與淮河的人工河道，叫做“邗溝”。這是南北大運河最早的部分，長達150公裡。第二次開鑿工程是在隋煬帝時期。為了解決南糧北運問題和滿足隋煬帝乘船到南方游樂的欲望，隋朝於大業元年至六年（公元605-610年），花費6年時間，在疏通擴大“邗溝”的同時，分別開鑿了從洛陽至山陽（今江蘇淮安）的通濟渠；從通濟渠延伸到北接涿郡（今北京）、南連黃河的永濟渠；從京口（今江蘇鎮江）直到余杭（今浙江杭州）的江南河。這幾段運河銜接起來，便完成了大運河的全部工程。隋朝的大運河，史稱“南北大運河”。它北起今天的北京，南至杭州，溝通了海河、黃河、淮河、長江和錢塘江五大水系，全長2700多公裡，水面寬30至70米。
南北大運河在海河和淮河中間的一段，是以洛陽為中心向東北和東南伸展的，從地圖上看，繞了一個大弧形。元代定都大都（今北京）後，要從江浙一帶運糧到大都。為了從杭州直達北京，避免繞道洛陽，又進行了大運河的第三次開鑿工程。這次挖掘了從山東臨清至江蘇淮陰的濟州河，以及從北京經通縣到天津的北運河。這兩段運河與隋朝的大運河相連接，裁彎取直，不再繞道洛陽，由杭州直達北京，史稱“京杭大運河”。京杭大運河全長1794公裡，比南北大運河縮短了900多公裡。現在我們所說的大運河，一般是指京杭大運河，這與南北大運河並不是一回事。如果說到最長的運河，當然還是南北大運河。
目前國外著名的大運河有蘇伊士運河、巴拿馬運河、土庫曼運河等，它們的長度都比我國的南北大運河短得多，而且開鑿的時間也都比南北大運河晚1000多年。
南北大運河和京杭大運河的開鑿，顯示了我國古代水利工程技術的卓越成就。開鑿規模如此宏大的運河，首先要進行大範圍的地形測量，這需要相當高的測量技術。而且，還要挖掘穿越高崗的越嶺運河。由於越嶺，運河沿線地形變化較大，需要修建一系列船閘來節制水流，調整水位，提高航深，改善航行條件。諸如此類水利工程技術方面的許許多多困難，都被我國古代勞動人民征服了。
大運河的開通，有力地促進了我國古代南北經濟文化的交流，尤其是對“南糧北運”起到了非常重要的作用，成為陸地上最重要的南北交通大動脈。近代，由於鐵路運輸和海路運輸的興起，大運河漸被淤塞、廢棄。解放後，國家對大運河進行了維修治理，運河已分段通航；同時，沿河又修建了一些灌溉工程。古老的運河，在今天的社會主義建設中繼續發揮著重要作用。