杨绛四岁时,与父母亲一同回京。起先他们租住在一户满族人家。女房主梳旗头,着旗袍,穿花盆底鞋。花盆底的鞋子与上海女子的高跟鞋大不相同,高底在中。女子穿上这种鞋,身高陡增,走起路来摇摇晃晃,有杨柳之姿。杨荫杭问四女儿长大后要不要穿这种鞋,她很认真地考虑之后,答道:“要!”
杨绛天生柔美剔透,个子不算高,在杨家八个子女中,最得父亲喜欢。杨荫杭喜爱猫,曾以“猫以矮脚短身者为良”表达对四女的偏爱。原因他人无从知晓,或因她从小聪慧伶俐,或因她出生于父亲归国踌躇满志之时。此时大姐、二姐在上海读书,三姐留在无锡,杨绛便成了父母身边唯一的孩子。杨荫杭是颇有些严厉的人,在女儿面前,却总保持克制与柔和。他有在书房午睡的习惯,喜欢安静不被打扰。有次偶然醒来,杨荫杭发现杨绛像小猫似的坐在他的身旁,连添炭火都轻手轻脚,不发出一丝声音。于是他充满爱怜地道:“我也喜欢有人陪的,只是不要出声。”之后他允她陪在身边。
垂髫之年,杨绛入辟才胡同女师大附属小学就读,她的童年记忆也从这里开始。女师附小旁边便是北京女子高等师范学校,杨绛的三姑母杨荫榆在此任监事。杨荫榆是近代中国首位高校女校长,推崇欧美教育理念。她因专制粗暴,反对进步学生参加政治活动,还曾被鲁迅先生在《记念刘和珍君》等文章中点名批评。她曾非常疼爱杨绛,但因她后来脾性古怪等原因,杨绛最终不再跟姑母亲近。在《回忆我的姑母》中,杨绛提到,女高师的学生会带她到大学部玩耍,陪她打秋千,让她在学校的恳亲会上演戏,让她扮花神,甚至在学校的运动会上,也有学生拉着她一起跳绳。“我现在回想,演戏借我做‘花神’,运动会叫我和大学生一同表演,等等,准是看三姑母的面子。那时候她在校内有威信,学生也喜欢她。我决不信小学生里只我一个配做‘花神’,只我一个灵活,会钻在大学生身边围绕着跳绳。”
在北京,杨绛享受了平和欢乐的童年,而当时的父亲却正在经历事业上巨大的颠簸。1917年5月,在调查津浦铁路管理局租车购车舞弊案时,因怀疑交通总长许世英贪污,杨荫杭传讯了对方。杨荫杭不过是检察长,总长却是等同于当下部长的职位。此事引起震动,杨荫杭被停职审查。期盼司法公正无望的杨荫杭由此对北洋政府的政治环境感到失望,几乎就在同时,上海传来二女儿同康染伤寒住院的消息。如今看来微不足道的伤寒,在那个时候足以取人性命。唐须嫈只身南下,奔波千里,辗转于舟车之间,赶到女儿病床前。女儿只是拉着她的手绝望地哭,哭得唐须嫈肝肠寸断。不久之后,二女儿便去世了。
政治失意及失去女儿的痛,让杨荫杭彻底舍弃了留京任职的意愿。1919年,他辞去了北京的职务。杨荫杭辞职后,家人随他南下。杨绛的北京记忆随之暂时终结。
仓促的南下,在杨绛看来是那样的不合情理。匆忙收拾行李赶车的过程中,她没有时间好好整理落在四处的小玩意儿,也没有时间再看看北京,再与好朋友聚一聚、叙叙话;她也没有时间回到学校去,与同学们正式道个别。在后来提及此事时,杨绛总觉得“怅然”。离家路上,她碰到了一个同学。尽管平时与这个同学关系并不要好,她还是想让那个同学帮忙捎句话回去,告诉同学们她走了。
杨绛刚尝到离别苦涩的内心,很快就被另一种情绪填满了。杨荫杭刚正不阿有原则,在北京受人尊敬,他的离开也令许多人不舍。他们争相去火车站送杨荫杭归乡。在《回忆我的父亲》中,她提到:“火车站上为我父亲送行的有一大堆人——不是一堆,是一大片人。谁也没有那么多人送行,我觉得自己的父亲与众不同,很有自豪感。”目睹此景的杨绛,已然对什么是尊敬、什么是人心所向有了最直观的认识。杨荫杭的骨气,也在杨绛心里播下了种子。