从1745年起,情况出现了一些变化。海顿逐渐接近青春期,开始变声了。圣史蒂芬合唱学校来了一个米歇尔,他能唱三个八度的美妙女高音。米歇尔似乎比海顿更聪明、更有天赋,他学得很快,不久就成为教堂的副风琴手,得到了一些额外的收入。在这种对比下,海顿每每显出劣势。
有一天,特蕾莎女王在欣赏孩子们的合唱时,突然从合唱队里传来一声很不协调的怪声,女王当场问:“怎么有个孩子的声音好像乌鸦叫?”这个声音是海顿发出来的。这个时候,海顿的声音已经变得沙哑低沉,由于声音没有完全转变过来,所以听起来有些怪。
自从女王批评海顿的声音“像乌鸦叫”以后,海顿再也没有独唱的机会,米歇尔取代了他。事实上,米歇尔从女王夫妇那儿获得的掌声,比海顿以前得到的还要多。
海顿日渐成为圣史蒂芬教堂中无用的歌手,如果洛依特稍微有点良心,他就会为这个男孩的前途着想,毕竟,这个男孩跟了他九年,给他带来过不少荣耀。他应该在海顿声音恢复圆润以前,让他担任小提琴手。但是洛依特不是一个有情义的人,他已忘记了他向海顿的父母许下的诺言,他一直在寻找一个把他赶出去的机会。
有一天,淘气的海顿得了一把新剪刀,他急不可耐地想试一试这剪刀是否锋利,刚好一个合唱团的朋友坐在他面前,他就把他的发辫给剪了下来。这下可捅了马蜂窝,洛依特拿起鞭子就要打海顿。已经17岁的海顿不能忍受这种侮辱,于是他大声说:“我情愿离开这里,也绝不会让你打我。”洛依特等的就是这个机会,他还是狠狠地把海顿打了一顿,然后把他赶出了唱诗班。
1749年的11月,那天非常寒冷,海顿带着仅有的三件破衬衫和一件旧外套,被赶出学校。他身无分文,也没有推荐信。他想过回老家,他已经整整十年没有回去过了。但是他已经不是一个7岁的孩子了,他不能再给父母增加负担了。
他决定留在维也纳,从现在开始,他要独自一人为生存而奋斗。