早在元朝初年,古代天文学家王恂、郭守敬等人在元大都城墙东南角楼,即今北京建国门观象台北侧建立了一座司天台,这就是北京古观象台最早的雏形。
三百多年前,朱元璋派大将军徐达攻占元大都,元朝灭亡。司天台作为皇权的象征,与元朝皇宫一起被明军捣毁,天文仪器作为战利品被运往南京。
明朝永乐四年,明成祖朱棣决定迁都北京,但天文仪器仍留南京。钦天监人员只能在北京城东南城墙上仅凭肉眼观候天象。
明正统二年,钦天监派人去南京,用木料仿制宋代浑仪和元代简仪等,运回北京校验后浇铸成铜仪。明正统七年,朝廷派人修缮钦天监、观星台并安装仪器。明正统十一年修建了晷影堂。从此,北京古观象台和台下西侧有了以紫微殿为主的建筑群,大体上具备今天所看到的规模和布局。
明嘉靖年间,朝廷又对观象台进行过一次大维修。明代在观象台上陈设的天文仪器有浑仪和浑象﹑简仪。陈设在台下的天文仪器有圭表和漏壶。
清顺治元年,多尔衮率清军攻占北京城,清朝把观星台改称观象台,归属钦天监掌管。据《清通典·职官典》记载,钦天监掌管观测天象和制定历书,长官叫监正,是正五品等级,设满人一名,西洋人一名。
清顺治年间的监正是日耳曼传教士汤若望。清顺治二年至乾隆六年使用的清朝官方历书《时宪历》,就是汤若望制定的。
因为历书是依据天体运行制定的,而天体运行是会有变化的,所以汤若望为清朝提供的历法,说明可以使用两百年,之后就要修订。这本来是科学的态度,可是后来鳌拜掌权时候,却说汤若望是在诅咒清朝只有两百年的天数。汤若望被迫害致死以后,他的助手南怀仁接替了钦天监的工作。
清康熙八年至康熙十三年,康熙皇帝授命耶稣会传教士、天文学家南怀仁设计和监造了六架新的天文仪器,即赤道经纬仪、黄道经纬仪、地平经仪、象限仪、纪限仪和天体仪。
清康熙五十四年,耶稣会传教士、天文学家纪理安负责设计制造了地平经纬仪。清乾隆九年,乾隆皇帝又下令按照我国传统的浑仪再造一架新的仪器,命名为玑衡抚辰仪。至此,我们今天所看到的八架古仪都已装备完毕。
1900年,八国联军入侵北京,德、法两国军人曾把这八件仪器连同台下的浑仪、简仪平分,各劫走五件。法国军队将仪器运至法国驻华大使馆,后在1902年归还。德国军队则将仪器运回波茨坦离宫展出,在第一次世界大战后,根据凡尔赛和约规定,于1921年归还我国,重新安置在古观象台上。
1911年辛亥革命后,皇家观象台改名为中央观象台。1927年,江苏省南京市紫金山天文台筹建后,北京古观象台不再作观测研究之用。1929年,北京古观象台改为国立天文陈列馆。
1931年“九一八”事变后,日军进逼北京。为保护古观象台文物,有关人员将置于台下的浑仪、简仪、漏壶等七件仪器运往南京。截止2009年,这七架仪器分别陈列在南京市紫金山天文台和南京市博物院。
新中国成立后,北京市政府十分重视北京古观象台的保护工作,对北京古观象台进行了初步维修,不久,移交给北京天文馆管理。1982年,北京古观象台被列为全国重点文物保护单位,并于1983年重新对外开放。