汉平帝元始三年（公元3年），刘秀九岁的时候，他的父亲刘钦因思虑国事家事，身心交瘁，积劳成病，竟一病不起，在汝南郡南顿县令的任上去世了。
刘钦的死对孤儿寡母的打击是非常沉重的。从此失去生活来源的母子没有办法在南顿呆下去了，刘秀的母亲樊娴都便在小叔子萧县令刘良的护送之下，带着刘秀和刘伯姬回到了家乡——舂陵。
在舂陵的樊娴都根本无力抚养六个子女。最后还是刘良拿主意，他带着刘縯、刘仲、刘秀三兄弟去了萧县，送入当地小学读书，而樊娴都则领着三个女儿在舂陵勉强度日。
刘秀和哥哥们跟着叔父在萧县生活了好几年，随着他们年龄的增长，叔父刘良的生活愈加困难，刘秀弟兄们不忍心再拖累叔父，就回到了舂陵老家务农。
刘秀性情温和，喜欢在田野间嬉戏，刘家的佃农不免要照应着他。时间长了，刘秀渐渐对农桑稼穑产生了浓厚的兴趣。哥哥刘縯的性格与刘秀恰恰相反，对田园生活毫无兴趣，专喜欢交朋结友、弄侠使气，养着不少乡间豪悍的少年做宾客。他对弟弟与世无争的生活态度很看不惯，常常笑话他没有出息，天生是个做农夫的材料，与刘邦的兄长刘仲颇为相似。
在刘家兄弟过着田园牧歌生活的同时，汉王朝却早已岌岌可危，朝政很长时间都把持在外戚王氏手中。王莽则是此时王氏家族的代表，他是汉元帝的皇后王政君的侄子，公元前一年，王莽做到了大司马录尚书事，登上了一人之下万人之上的位置。
王莽先后通过大封官爵、扩太学、改革赈灾等措施取得了地主豪强、文人以及众多百姓的支持。这时皇帝的名号虽然还在刘氏的头上，但是实际上已经成了王莽的傀儡。刘氏一族自然不愿意失去刘氏的天下，公元六年，安众侯刘崇起兵反对王莽，公元七年，身居东郡的刘信也起兵反莽，他们先后被王莽镇压了。
公元八年，王莽终于废掉了汉皇帝，宣布由自己即天子位，国号为新，以王氏王朝取代了刘氏王朝。开始王莽还拉拢善待刘氏，但到了新始建国二年( 公元10 年)，篡夺汉政的王莽，唯恐刘姓余波再起，干脆缴回汉诸侯王玺绶。刘姓诸侯王三十二人、列侯一百八十一人同日遭贬，废为庶人。
王莽废汉，刘氏的皇族身份没有了。刘良的特权地位不复存在，只有回老家和刘秀兄弟一起务农。从此他们开始过起了老百姓的生活，亲身体验到了农民的困苦和艰辛。
虽然按当然的制度，刘钦和刘良都有资格享受朝廷的退休津贴，但无奈级别太低，朝廷发的那几块散碎银子根本不够一大家人操持吃喝的。就算刘良不说，刘家三兄弟心里也是明白的，叔父对他们已经够照顾的了，总不能靠叔父一辈子。
父亲不在了，作为长兄的刘縯理应挑起生活的重担。但刘縯生来有着远大的志向，他对于干农活没有半点兴趣，他最大的爱好是交结天下豪杰，喜欢畅谈天下大事，不屑于料理家中的田地。家中所有的农活便只能由二弟刘仲和三弟刘秀来承担。
刘秀知道这是大哥的性格，他了解大哥的远大志向，只好和二哥一起，默默的挑起生活的重担，供着大哥在外面风光。刘仲是个老实巴交的农夫，他只会埋头种田，其他的一概不管。
而刘秀从小就对农活用心，很会照顾打理田地，他家的田即使在大旱的年景也能有个好收成，而别人家很可能颗粒无收。在这样的年景下，粮食十分金贵。刘秀虽然不像大哥每天只想着大事，他却也不是真的只懂种田。他有非常发达的生意头脑，借着现在粮食的稀缺金贵，便每次打完粮后，刘秀留下家里吃的，就赶着牛拉着粮食到周边市镇贩卖。
本来当时时局动荡粮食比较紧缺，加上刘秀为人忠厚和善，做买卖诚实守信，价格公道，所以刘家的粮食销路非常好。很快，刘秀就为家里攒下了一笔很丰厚的积蓄。刘家慢慢从父亲刘钦逝世的阴影中走了出来。
刘秀不仅会做买卖，更重要的是他非常会做人，刘秀平时乐于助人，乡里乡亲的谁家有困难，刘秀都会尽力帮忙，从不说二话。史载，刘秀“品行纯美，有君子之风。”在当地赢得了非常好的口碑，乡亲们一提刘家老三，各个都赞不绝口。
