世人又这样认为:“他投靠平家,是因为贪图平家的荣华富贵,出卖了自己的气节,真是个卑鄙的武将。”平治之乱后,平清盛以下的六波罗一门权势如日中天,不断升迁,人们本以为赖政会因此获得恩赏和爵位,所以一直关注着对他的安排。但赖政在心里暗自回应:“并非如此。我早已做好了不被赏识的觉悟。对于我这样深知活着比死更痛苦的人来说,还有什么可期待的呢?”
然而,他还是忍不住为自己的儿子仲纲、兼纲,以及追随他的家臣们感到惋惜,“这些年轻的孩子,还有我的部下们,实在是太可怜了。”他们和自己一起,在世人的冷眼和排挤中艰难求生。
别说是恩赏和爵位了,就连府邸和俸禄都还是老样子。从入道相国平清盛为首的平家一门,将爵位和官职都据为己有,在全盛的余荫下骄奢淫逸,还在不断地寻找新的欲望和不满,而只有赖政被他们遗忘了。他在近卫河滩的那座旧宅,就那样孤零零地被遗弃在一旁。
偶尔,平家的人想起他,也只是认为他是个叛徒,是反面教材,对他的荣华富贵连看都不看一眼。而且,在平家人的观念里,不管过了多少年,也始终认为他是源家的人。
也正因如此,尽管赖政多年来一直在禁门的卫府任职,却始终不被允许进入殿上。
赖政从年轻时就担任宫廷侍卫,以弓箭手的身份守护着皇宫,不能进入殿上对他来说是一件极为痛苦的事情。有一次,他悄悄地向殿上的人展示了自己表达内心想法的和歌,这些和歌传到了天皇的耳中,天皇慈悲地说:“看在他一片赤诚之心的份上,就让他进入殿上吧。”赖政这才第一次得以踏上殿上的台阶。
那天晚上,赖政感激涕零,心想着终生都要为朝廷效命!他更加坚定了自己作为一名守护天皇的武士的信念,同时暗下决心,就算被人骂作狗,被人诋毁为畜生,也要坚守自己的道路,不在乎后世的评判。就这样,他在晚年依然坚守着自己的信念。
在平家一门中,只有一个人突然对他产生了同情。平清盛心血来潮地说:“他都七十岁了,还一直处于低位,实在可怜。给他个三位的官位吧。”
入道相国的恩命来得实在太迟了,但即便这只是他一时的念头,对于多年来一直不得志的赖政来说,也一定是一件值得高兴的事情。赖政不禁觉得,入道殿下原本也不是近年来我们所看到的那种人,只是被自己过于顺遂的命运和周围的族人误导而已,如果他的错误只是影响到他自己和他的家族倒好……
赖政至今对作为一个人的平清盛仍怀有一丝怜惜之情,他不希望平清盛被误导。然而,事与愿违,最终平清盛的行为让世人都称他为疯子。但在赖政看来,平清盛走到这一步,一半的责任在于那些指责他的世人。如今,赖政甚至对平清盛产生了一种怜悯之情,就像当初平清盛对他的怜悯一样。