中山纪念堂的建筑地点,选在越秀山南麓,南临德宣街,背倚越秀山,该处清末时为督练公所,辛亥革命后,曾被军阀龙济光据为“振武上将军府”。1921年孙中山先生回粤就任非常大总统时,曾以此为总统府。但按建设计划,除此地址外,还须拆除附近民房数百户,当时北面的九龙街,西面的粤秀街,东西的莲塘街,以及许多不知名的小巷,均遭拆平。当时虽有规定补偿房价,但在重重克扣之下,居民实际所得无几。此地聚居者绝大部分是劳动人民,有不少因此而流离失所者。旧社会的重重黑暗,由此亦可见一斑。
至于中山纪念碑的建筑地点,系在纪念堂背后,越秀山南面最高处,此地点原来系一观音庙(越秀山俗称观音山,即由此得名)。龙济光据粤时,曾在此架设大炮,该炮现仍存在五层楼前。此地拆毁观音庙建筑中山纪念碑,对劳动人民的生活无大影响。但因地势高峻,运输纪念碑建筑材料的工人,即大感困难,当时水塔还未建设,连建筑用水也要从山下运上来。
《广州中山纪念堂史实》