冯云山通常被称为太平天国开创者。当时还是基层干部的李秀成就知道“谋立创国者出南王之谋,前做事者皆南王也”。(《李秀成供词》)后来史家还评为“其忠勇才德与智谋器度实为太平天国之第一人”。
1844年,洪秀全一创立上帝教,当时在农村当私塾先生的冯云山就参加了。他也曾参加科举考试,但一考未中,就不考了,不像洪秀全那样痴心于科举,连考多次。
翌年,冯云山与洪秀全离开家乡花县,云游邻邑清远、广州、顺德、南海等十一个州县,劝人敬拜上帝。后又深入八排瑶山地区,因语言不通,没有收效。这时冯云山提出“最好到广西,广西山多人野,最好召集英雄买马聚粮”。他们来到广西贵县赐谷村洪秀全的表兄黄盛均家,用教书、写书送人、谈论拳术、捣毁神庙等方式,与农民结合起来。不久,冯云山离开赐谷村,得悉桂平县北有座紫荆山,就决定前去。到紫荆山要经过新圩,这时他先到新圩,站在牛行榕树下等人雇佣,但没人要他,无奈只得北行到紫荆山口古林社,在路店投宿后借了畚箕、扁担,靠拾牛粪过活,后来又做短工,在劳动中常吟诗明志,其中一首是:
孤寒到此把身藏,
无食无衣也着忙,
拾粪生涯来度日,
他年得志姓名扬。
有一天,冯云山到监生曾槐英家去帮割禾,他担禾回来,迎着南风,不禁念了一首古风:“南风之薰兮,可以解吾民之愠兮;南风之时兮,可以阜吾民之财兮。”曾槐英听了十分诧异,在谈话中,发现他经史皆通,后来就把他推荐到大冲曾玉珍家当塾师。就此冯云山进入了紫荆山,他和平在山的烧炭工们打成一片,向他们灌输政治意识,并树立洪秀全的伟大形象,使人人都知道“救世主”洪先生。
三年后,即1848年,以平在山为中心的紫荆山地区加入拜上帝会已有二千多人。这年8月洪秀全到了平在山,见到冯云山为他创造的大好局面,真是喜出望外;不久,他们一起赴象州捣毁甘王庙和紫荆山区的社坛。此举引起当地豪强的恐惧,于是就勾结官府把冯云山投入桂平的监狱。
冯云山在监狱里,潜心研究历法,终于创造了后来为太平天国通用的天历。这时平在山的拜上帝会众聚集了省下来的炭钱向官府行贿,官府把他充作无业游民押解回原籍。冯云山在途中,向押送的两个差役讲道理,差役被他说服了,释放了他,而且还跟着冯云山到紫荆山加入了拜上帝会。
1851年,太平天国建立,冯云山任前导副军师,南王。他的地位本来应仅次于洪秀全,只因到决定起义时,杨秀清、萧朝贵要夺取领导权,由萧朝贵假托天兄意旨,命令洪秀全、冯云山外出躲藏,就让他俩抓得了实权。冯云山虽名在杨、萧之下,但他仍积极发挥自己才能,如制定《太平军目》,制定官制、礼制,起草《奉天讨胡檄》等。
翌年,太平天国从永安州突围北上,冯云山在途经全州城时中炮,伤重身亡。