汉光武帝刘秀起兵路过颍阳(今河南许昌西南)时,一个叫王霸的人找到了刘秀,表示自己和朋友一起来投奔,这王霸喜好法律,其父曾任颍川郡决曹掾(分曹治事的属吏,一种很小的官),王霸年轻时亦曾担任过监狱官。常常感叹不愿做小官吏,他父亲觉得他不一般,派他到长安求学,学到了一身过硬的本领,见到刘秀后,他不慌不忙的说:“将军起义兵,我不自量力,仰慕您的威信品德,愿意在您军中当兵。”刘秀被他的话语所感染,就收留了他。
入伍后,王霸忠心耿耿,多次打胜仗;在昆阳大破王莽的战役中,立了大功,因而受到刘秀的信任。
更始元年(公元23年),王霸在刘秀军中担任司隶校尉,再次路过颍阳,王霸请示父亲,表示自己想跟着刘秀出去闯荡一番事业。王亲说:“我老了,过不了军队生活,你去,努力吧!”
不久,刘秀的部队渡过黄河,在河北邯郸和王郎作战时,军事行动遭到了重大挫折。王郎重金悬赏捉拿刘秀,形势很危急。
这时王霸的朋友们都悄悄溜走了,只剩下王霸。
刘秀对王霸说:“在颍阳投奔我的人现在都走了,只剩下你一人留下来了,只有在迅猛的风中看出坚韧的草,这话在今日算是得到了验证。”
后来刘秀得了天下,封王霸为偏将军,自始至终都很器重他。