海寧趙氏爲趙宋宗裔,靖康之變南渡,遂定居海寧。
趙芳瑛、趙深《趙萬里先生傳略》:傳説趙氏家族原籍甘肅天水,後到河南,又隨北宋南遷,遂定居浙江。家中藏有舊時名家篆刻“天水扶風氏”和“南渡世家”兩方印。(《趙萬里文集》第一卷,第1頁)
祖父趙承鼎,廪生,以坐館授徒爲生。
趙芳瑛、趙深《趙萬里先生傳略》:祖父趙承鼎,字鑑齋,號耐庵。清代廪生。因摯友陳六笙的勸説,感到仕途艱危,遂不再參加科考應試,多年在上海坐館授徒。他喜篆刻,善書法,家鄉許多街道橋梁的牌匾,都出於他的手筆。他將自己家鄉的書房命名爲“吟秋草堂”。(《趙萬里文集》第一卷,第1頁)
父親趙宗孟(1881—1955),字純夫,號塵俯。室名卍廬。寓居上海。以書法著稱,尤擅隸、行二體。著有詩集《卍廬吟草》。
趙芳瑛、趙深《趙萬里先生傳略》:父親趙宗孟(1881—1955),字純夫,號塵俯。在上海商界任職。他喜吟詩,也善書法,精行、隸體,是上海書法界名人。後來他將自己多年的詩作集録成《塵俯詩鈔》六册。(《趙萬里文集》第一卷,第1頁)
母親張順媛(1882—1961),海寧縣硤石鎮人。