《本纪》中还谈到刘邦的“好酒及色”。作为一名亭长,刘邦哪里有那么多的公务可做,况且他又是一个不肯做那些琐碎小事的人。为消磨时光,抒发积闷,他近乎饮酒成癖,常常是不醉不止。除了在县衙内外与同事们饮酒外,他更多的是独饮自斟。他经常光顾的地方,是附近王大妈、武大娘所开设的两家乡间小酒店,而且往往是每饮必醉,人们常见他醉卧酒馆之中。时间一长,王大妈与武大娘都曾发现过这样的奇怪现象:
当刘邦醉卧小酒馆便榻之上酣睡时,武大娘和王大妈都曾发现过醉汉的上方似乎有游龙盘绕,因而感到惊奇万分。令武、王二店家感到惊异的,还有每当刘邦光顾小酒馆时,酒馆的来客便突然大增,常常是“酒售数倍”。所以每到年终结账的时候,两家酒馆主人便总是将刘邦平日所欠的酒账一笔勾销了。
刘邦的饮酒欠账,与“醉卧”“有龙”不同,应属于事实,但这并非他小气。作为亭长,他并不像政府中的各级官员那样享有朝廷按时发给的俸禄,而是按规定派人替他耕种分给他的那一小块土地,以土地上的收获物作为自己的生活来源。刘邦从不搜刮百姓财物,又仁而爱人,喜好施舍,他手头哪里会有余钱供他整日饮酒?
关于刘邦的好色,史书没有留下具体的记载,只是在《史记·齐悼惠王世家》写道:“齐悼惠王刘肥者,高祖长庶男也。其母外妇也,曰曹氏。高祖六年,立肥为齐王,食七十城。”这条记载表明,刘邦在与吕氏结为夫妻之前,至少有一个经常往来的情人,并生有一子。这在他的家乡几乎是人所共知的事。因而刘邦即皇帝位后立刘肥为齐王,表明他并不以结婚前与曹氏有过这段亲密关系为介意,有勇气把“私生子”立为王。同时也可以看出,当时人们并不认为刘邦婚前的这种行为有什么可以谴责的。刘邦的这位“外妇”,史书只记载她姓曹氏,其他情况则不详。