虽然刘秀已经离皇家宗枝很远，但他出生时，家境还是相当不错的。

刘钦樊氏夫妻很恩爱，生了很多孩子。

刘秀有两个哥哥：刘縯、刘仲，还有两个姐姐：刘黄（后来的湖阳公主）、刘元和一个妹妹刘伯姬。

刘秀九岁这年，他的父亲刘钦去世了。

刘秀兄弟三人从此寄居叔父刘良家中，几个姐妹则继续跟随母亲生活。

刘秀性情温和，喜欢在田野间嬉戏，刘家的佃农不免要照应着他。

时间长了，刘秀竟渐渐对农桑稼穑产生了浓厚的兴趣，常常把自己的小主人身份甩在一边，和佃农们一起耕作田园。

哥哥刘縯的性格与刘秀恰恰相反，对田园生活毫无兴趣，专喜欢交朋结友、弄侠使气，养着不少乡间豪悍的少年。

他对弟弟与世无争的生活态度很看不惯，常常笑话他没有出息。

公元8年，王莽废汉立新朝，刘氏宗亲后裔失去了所有的特权和财富。

刘秀这年14岁，看起来，他真是要做一世农夫了。

在这种改朝换代的困境中，刘家很快就成了普通的老百姓，过着与从前截然不同的窘迫生活。

这样的生活令刘秀的大哥刘縯非常不满，经常在家中大发牢骚，声言定要重振大汉王朝不可。

他见弟弟仍然是老样子，心急如焚。

有一天，刘秀在地里锄草，刘縯率领宗室兄弟与宾客侠士，忽拉拉围过来。

刘縯指着刘秀，对众人说：&ldo;我小弟刘秀喜欢耕作，能够喂饱一个人的肚子，跟汉高祖刘邦的哥哥刘仲不是很像吗?&rdo;众人哗然大笑。

刘縯又说：&ldo;诸位如果能成大事，不要忘了提携一下我的小弟。

&rdo;众人七嘴八舌，都在嘲讽他。

刘秀脸涨得通红，顿时醒悟：&ldo;天下大乱，醉心于田园牧歌、从事耕作不是长久之计。

&rdo;于是，他用脚一踏禾苗，扔了锄头，愤然变色说：&ldo;大丈夫生长于天地间，你们能够建功立业，我亦能名载史册。

&rdo;

当同龄的朋友都纷纷成婚聘娶、沉浸于家室之乐的时候，20岁的刘秀却作出了另一个决定：西去长安，开拓视野、研习学问。

来到长安以后，刘秀成为许子威的学生，学习了《尚书》等当时最经典深奥的学问。

刘秀生性聪颖，举一反三，对这部阐述政事的著作有相当的见解，很多人都对他的天姿表示非常惊讶。

由于家境并不宽裕，学费不足。

刘秀还曾与同学合资买头驴，让仆人赶驴拉脚挣钱。

不久，刘秀的盘费用尽，返回了家乡。

返乡后，刘秀在亲友中找到了自己的知己：姐姐刘元的丈夫新野人邓晨。

作为弟弟，刘秀不免要经常前往新野拜访姐夫，并且常常在姐姐家里住宿。