因此,小海顿在1738年就离开了家,跟着弗兰克来到40里外的海因堡。从此以后,除了偶尔短暂的停留外,他再也没有回家长住过。小小年纪就离开父母,来到一个陌生的城市,这对一个小孩子而言是一件非常痛苦的事。慢慢地,他和父母共处的那段日子成了他最宝贵的回忆,他也因背井离乡和思家而迅速变得成熟。
海因堡群山险峻,其间有壮丽的多瑙河,山上有许多大岩石和浓密的森林,巍峨的城堡隐约可见。在这里,海顿对艺术的好奇心得到了完全的满足。
弗兰克职务繁忙,他要教导80多个小孩读书、写字、做算术、唱歌和祷告,还要记录教堂的日志,维护教堂的钟,并在做礼拜前或雷雨及火警等特别时候摇钟铃。此外,他还要负责教堂的音乐、弹管风琴,并指挥每个礼拜的唱诗。所以,他聘请了两个助手帮忙。
小海顿抵达海因堡后,弗兰克立刻向他介绍学校的各种活动。实际上,这个6岁小男孩每天的节目排得很紧,上午7点到10点上课;然后是教会的弥撒,有时也担任祭坛的侍童;午饭后是繁重的作业;晚上,他还要学习钢琴和小提琴的演奏,如果弹得不准,就会吃一顿皮鞭。
海顿6岁时,就像大人一样在教堂的合唱团唱《弥撒曲》,还会一点点小提琴、钢琴与风琴。
那年举办圣日游行时,乐队里的鼓手突然死了,弗兰克非常沮丧。他想到了海顿,他把海顿叫来,教给他击鼓的技巧后,就留下小海顿一人练习。
终于,这个男孩子骄傲地走进了游行的行列。由于他的个子太小,鼓绑在一个驼背者的背上,由他敲打。虽然这幅景象非常滑稽,但是小海顿打鼓的技艺却让人惊讶不已。
弗兰克所指挥的乐队规模并不小,水平也颇高。教堂乐器包括八支小喇叭和八把小提琴。虽然在平常的礼拜天,音乐只限于四部合唱,由两把小提琴和风琴伴奏。但在特别的节庆时,却要加上一把大提琴、一把低音提琴,以及许多小喇叭、号角及定音鼓。弗兰克搜集了相当多的手抄乐谱,一些比较大的教堂也向他借用。他曾吩咐海顿为他抄谱,使海顿小小年纪就已熟悉当代的圣乐。
天主教教会有许多大的节目,人们为祈求上苍保护他们的家园和财产不受雷雨、冰雹等灾害的袭击,常常会举办盛大的游行。
小海顿在各种庆典活动里表现得非常活跃,海因堡的所有音乐活动他都积极参加。这些活动也一定令他印象深刻,特别是吸引人的“圣餐节”,那是各行各业的节日,包括车匠在内。海顿的祖父、父亲和叔伯们都曾经历过。1738年,他的父亲为招募一个新学徒出席了典礼。这种难得的和父母接触的机会,对一个小孩子来说是很重要的。尽管他的生活中充满了新奇事物,但他一定经常想家。
现在必须提到在海因堡的另一面,非常令人不愉快的一面。弗兰克因为薪水微薄,再加上家里人比较多,因此生活极为穷困。他的太太朱丽安缺少海顿母亲那种理家的本领,家里一直乱糟糟的。他们原本有两个女儿,1739年,朱丽安又生了一个儿子,因此,她便把小海顿当做一个可以随意使唤的帮手,而不是一个需要关爱和照顾的6岁小孩。
在弗兰克家里,海顿常常被冷落。在他自己家里,他母亲教导他要注意整齐和干净,但是在这里,他却无法保持干净,他仅有的几件衣服也无法经常换洗和修补。
那个时候,小海顿过着吃不饱、穿不暖的日子。但是,造物者赐给他难得的天赋,他那愉快和怡然自足的性格,使他从不怨天尤人。尽管偶尔会受到粗暴的待遇,他却知足常乐。在海顿的一生中,每当有人提起弗兰克时,他总称赞他这位启蒙的老师。他说:“我要对弗兰克表示崇高的敬意,虽然他早已不在人世,但是他给过我许多教导,尽管我从他那里得到的皮鞭比食物还要多……”
若是心平气和地权衡海顿在海因堡生活的得失,我们可以确定,它最后的结果显然是有利的,他得到了他最需要的、扎实的音乐训练。小海顿进步得非常快,由于歌唱得好,7岁的时候,他已经是海因堡的小名人了。
在海因堡待了两年以后,弗兰克就没有什么东西可以教给他了,继续停留在中古世纪的知识墙内,只会耽误他的前程。幸运的是,冥冥之中似乎有一股力量,引导着这个音乐天才走向一条正确的道路。