幸亏此时的文帝还没有老糊涂,并没有采纳这个残忍的建议。但他还是担心有人从他手里抢走这个他也是从别人手里抢来的天下,于是宁信其有,不信其无,采取折中方案,将朝中许多姓李的官员下岗一批、解职一批、驱逐一批。作为“李”姓、“名字和水有关”两个要件都齐备的李渊自然无法置身梦外,他也被列入“黑名单”。但一来文帝从小看着李渊长大,二来害怕皇后找他麻烦,也没把这个外甥整得多苦,将其外放到并州担任通守。“通守”、“留守”都是隋朝官职,二者字面虽只相差一字,实际权力却差之千万里。“通守”是主持行政工作的二把手,最大的软肋是没有军权。不能调动军队的“通守”如果有什么风吹草动当然是一戳就“通”。就这样,李渊这颗本来熠熠生辉的政治明星就此黯淡陨落。直到大业十一年(615年),隋炀帝杨广宣布任命他为太原留守时才再次璀璨耀眼。
有一个比较有趣的问题是,杨坚、杨广父子两代都和姓李的过不去,杨坚因梦,杨广则因为“桃李子,得天下”之类的民谣谶言对李姓大加杀戮。影响最大的就是“李浑案”。在这一案中,杨广冤杀了李氏一门三十二口,甚至包括李家儿媳宇文蛾英—————自己惟一的姐姐所生的惟一的女儿,残暴冷血可见一斑。总之,在隋唐交接的那段时间里,姓桃姓梨姓苹果都可以,千万别姓李,姓李是一件很倒霉很提心吊胆的事情,说不准哪一天就被皇帝无缘无故“吃李子不吐李子皮”那样给吞了。很多李姓人家都把族谱偷偷烧掉,不说自己姓李。那会儿,邻居路人吵架不骂爹不骂娘,而是诅咒对方姓李。一个气哼哼地说:你姓李吧!另一个恶狠狠地回:你才姓李呢,你全家都姓李,你祖宗八代都姓李! 一直到李渊统一天下,姓李的才扬眉吐气。
在并州的那段时间,李渊的世界是灰色的。领导不信任,职务不如意,环境不称心。那些年,李通守比较放纵,喝酒、赌博、玩女人,什么刺激玩什么。估计“阿婆面”的形成跟这一时期的郁闷、放纵很有关系
这里头应该有两个方面的原因。一方面李渊觉得道路太曲折,前途太迷茫,心里憋屈;另一方面也是故意做给杨坚看的,以表明自己最大的爱好是吃喝嫖赌,没什么造反起义的远大志向,让他放心,别再惦记自己了。因为一个臣属,如果你总是不能让皇帝把心放下,那么迟早有一天,皇帝会让你把脑袋放下。可怜的李渊,总是要在多疑的杨氏父子面前以表演洗脱自己。十几年后,他被杨广任命为军权在握的弘化郡留守时,为了消除杨广的怀疑,再次故技重演并获得了空前成功。看来,掌握一门表演技巧实在是太重要了。
回头看这一时期,李渊最大的收获就是交了不少黑白两道的朋友,他是唐国公,是前皇帝的外甥,现皇帝的表哥,这种显赫身份在地方上谁不高看一眼?加上李渊本身也很和气爽气棍气,男女老少都愿意和他交往,由此收获了很好的口碑和大量的人脉资源,为他以后起事时一呼百应创造了先决条件。