1937年卢沟桥事变,6岁的乐黛云感受到了外面世界的变迁,逃难之人的陡增。1939年末,父亲工作的贵阳一中奉命迁到离市区十多里的农村——乌当。由于迁居之地附近没有小学,乐黛云父母就自己教孩子读书。父亲教英文和算术,母亲教语文和写字。女子师范毕业的母亲舍弃了当时枯燥无味的小学课本,挑了一些文言文和好懂的散曲,开始了乐黛云的国文教学。幼时的启蒙教育,对乐黛云今后的学术道路起到了重要作用,当时母亲的选文如沈复的《浮生六记》和归有光的《祭妹文》等,乐黛云至今都能背诵。
然而好景不长,1941年夏天,乐黛云父亲被解聘而失业,一家人无奈回到贵阳。由于原来的房子已经租给别人,乐黛云一家四口无处可去,只好挤进“老公馆”堂屋旁的一间空屋。所谓“老公馆”,就是乐黛云祖父去世前与他的五房儿子共居的处所。和原来的大花园比,这间古旧的空屋自然是天上地下。不幸有些时候总在人措手不及的时候再次降临,当时政府决定修一条大马路,因为乐黛云父亲坚决拒绝行贿,马路便从花园中央横穿而过。虽然据理力争,但是花园和周围的大厅小楼仍被拆得七零八落。为了居有定所,倔强的父亲在马路两旁勉强修筑了两座小楼,这几乎耗尽了家中全部资财,自己也累得筋疲力尽。最终房屋仍未能竣工,父亲只好把修了一半的房子让给别人,修建费抵作20年租金。家道中落、父亲颓靡不振,而作为医生的伯父事业发达却袖手旁观,乐黛云母亲在这困苦时期展现了作为女性最坚韧的一面,她让女儿坚定了奋发图强,将来出人头地的决心。或许也正是这样的家道变故和突陷困顿让乐黛云明白了美好的世间也有尘埃障眼。乐黛云与母亲到金沙坡典当的经历,与鲁迅出入当铺的叙述异曲同工但更为悲切:“母亲把父亲过去照相用作底片的玻璃洗得干干净净,一扎扎困得整整齐齐,装了一篮子,拿到金沙坡,人家不愿买,说了很多好话才算卖了五毛钱。母亲和我真是一路滴着眼泪回家。”然而天无绝人之路,生活的转机有时候来得就是那么突然。就在乐黛云父亲颓丧无以为继之时,他的北京大学老同学正在为刚成立的贵州大学招兵买马,乐黛云父亲很快被聘为贵州大学英文系讲师。
鲁迅曾问:“有谁从小康之家坠入困顿的么?”乐黛云恰是其中一位。这样的困顿却更多激起了她的意志。