南京在元代被称为“集庆”,置江南诸道、行御史台于此,故谓南台。元代期间,若干重要地区行政机关都设置在南京。除了集庆路的行政机构,元朝政府差不多自始至终都在南京设置其主要行政机关——江南行御史台,这是元朝御史台三大分支机构之一。御史大夫为从一品,是驻任的最高官员,领文官僚属约百名、低级官吏数百名。集庆路共辖五县,上元、江宁二县治所设在南京城内,其他三县治所分别设在南边及东边的句容、溧阳与溧水。
和州渡江,集庆奠基,是朱元璋图王事业发展的一个关键性步骤。在元朝,长江一线,划隔南北,长江以北是元王朝政治、军事的重心,长江以南则成为反元义军的根据地与战略后方。长江以南经济发达,而受到北方的政治、军事压制。南与北的对立,正与其时社会的分化相映照。韩林儿、刘福通在讨元檄文中提出“贫极江南、富称塞北”,所以朱元璋把江南作为反元的根据地和大后方来经略。而江南的政治中心正在集庆,朱元璋占领集庆,意义绝非寻常。从当时江北的形势看,韩林儿、刘福通首举义旗,驰骋黄淮,无时不在做席卷北上、犁庭扫穴之想,构成元王朝心腹之患,迫使元王朝投入精兵锐卒,张网蓖栉,恨不食其肉而寝其皮。所以,以南京为根据地虽有地利优势,实际则要受到小明王韩林儿和元王朝两大势力的限制与夹击。
元至正十六年(1356),朱元璋攻克太平路后,巧取集庆路,擒守将陈兆先,降其众三万六千人,再败元兵于蒋山。在南京置天兴建康翼统军大元帅府,并以元御史台为公府,置“江南行中书省”,由朱元璋兼总省事,置僚佐,逐步奠定其立国规模。不久朱元璋又在南京建礼贤馆,积极养士以图大业。朱元璋入南京城,发布文告曰:“元政渎扰,干戈蜂起,我来为民除乱耳,其各安堵如故。贤士吾礼用之,旧政不便者除之,吏毋贪暴殃吾民。” 民乃大喜过望。遂改集庆路为应天府。这年六月,小明王升朱元璋为江南等处行中书省平章。 至正二十一年(1361)秋七月,诸将奉朱元璋为吴国公。朱元璋此时已成为红巾军的中坚,小明王不得不于是年八月正式册封他为吴国公。至正二十四年(1364)正月,朱元璋自立为吴王,建百官。 随着实力地位的上升,朱元璋与小明王的君臣关系渐行渐远,与淮西诸将的关系也发生了根本变化,身份从此由以前的草莽英雄转变为君主。
朱元璋的吴王国大体由江南地区的行省一级政府(按元代的用语即“行中书省”)扩展而来:1356年占据金陵为根据地,从1357年起,朱元璋向浙西、浙东进军,打击元朝各地的残余势力和割据势力。1359年占领了浙西、浙东的广大地区,力量迅速发展。由于朱元璋的将领们攻克了南京之东、南和西南诸方面邻近地带,江南行省的范围不断扩增。当浙江北部在1358年和1359年落入他的部队之手时,他在婺州(今浙江金华)设置了股肱郡。1366年重新组建江浙行省,取代了以前的江南行中书省,把婺州设立的股肱郡并入;1362年设江西行省,范围大致相当于今之江西省;1364年设湖广行省,大致相当于今湖北和湖南两省,并入了长江中游陈友谅的汉国;还有以庐州(今安徽合肥)为行政中心的江淮临时建置,旨在支援1364年和1365年江淮之间的战斗,其结果是于1366年5月收复了小明王韩林儿的旧首都安丰。此后不久,朱元璋又发动了铲除盘踞苏州的张士诚吴国的最后战役。南方局势大体平定后,如何治理全国的问题日益摆在面前,原先江淮的行省建制便被放弃了。伴随江南的统一,朱元璋逐次脱却群雄割据的地方统治色彩,开始着手从事全国中央统治政体的规划。此后数年间,他率大军南下,统一了南方,将云南纳入了版图;北伐军最后攻入元大都,基本推翻了元王朝。
明朝的建立,江南地区功不可没。可以说,没有江南作为根据地和大本营,就不会有朱元璋的大明一统江山。洪武二年(1369)九月,朱元璋诏问群臣建都之地。群臣“或言关中险固,金城天府之国;或言洛阳,天地之中,四方朝贡,道里适均,汴梁亦宋之旧都;又或言北平元之宫室完备,就之可省民力”,仁智各见,其谈不一。朱元璋批评这些建议皆不全面,不适应时下建都的要求。他说:“所言皆善,惟时有不同耳。长安、洛阳、汴京,实周、秦、汉、魏、唐、宋所建国,但平定之初,民未胜息,朕若建都于彼,供给力役,悉资江南,重劳其民。若就北平,要之宫室不能无更作,亦未易也。今建业长江天堑,龙蟠虎踞,江南形胜之地,真足以立国。” 朱元璋深明此中利弊实情,故终其一生都未能将京师北迁。直到藩守北平的燕王朱棣发动靖难之战夺取皇座,明之首都迁至北京才成为现实。而朱棣仍然重视江南的生命线,他通过疏浚南北大运河,把作为政治中心的北京和作为经济重心的江南紧密地联系在一起。此后的江南,由当初的行省区域,逐渐演变为经济、文化意义上的江南。
南直隶在元朝时以江北、江南分属两个行政区域,江北地属河南江北等处行中书省,江南地属浙江等处行中书省。朱元璋所设置的江南行中书省基本上沿袭了元代的建置。南直隶是南京变为留都后所管辖的行政区域,与朱元璋的江南行省辖区有重叠,但不尽相同。永乐中迁都北京,正统中以北京为京师,遂以江南为南京辖区,置南直隶。明朝实行两京制度,在南北两京各设有一套中央机构,两京畿辅则设置府、州、县等行政机构。北京畿辅有顺天府、永平府、保定府、河间府、真定府、顺德府、广平府、大名府等八府,称北直隶。其中顺天府“在辇毂下,与内诸司相颉颃,不以直隶称”,而称之为京府。南京畿辅有应天府、凤阳府、苏州府、松江府、常州府、镇江府、扬州府、淮安府、庐州府、安庆府、太平府、宁国府、池州府、徽州府,以及广德州、和州、滁州、徐州,这十四府、四直隶州,即称为南直隶。其中应天府也不称直隶,而称京府。故两京府是中央机构,南、北直隶则为直属中央的地方机构。