霍元甲与妻子王氏育有两个儿子，三个女儿。长子霍东章一直在家务农，次子霍东阁继承了父亲的事业。霍元甲病逝后，精武会面临着解散的风险。霍元甲的好友农劲荪得知后，将霍元甲的弟弟霍元卿和儿子霍东阁接到上海，担任精武会武术教练。当时的霍东阁年仅16岁，但武艺惊人。
在霍东阁的管理下，精武会不断发展壮大，上海先后成立三个分会。1919年，霍东阁来到广州，在广州海军总部任教，得到当时军阀陈炯明的器重。而后，陈炯明背叛孙中山，霍东阁对其心灰意冷，便决定远赴南洋讨生活。
远赴南洋，印尼落脚
霍东阁决定到南洋闯荡，第一任妻子不愿意跟随，留在天津。到印尼后，霍东阁娶了当地的华侨叶玉梅为妻。霍东阁育有三个儿子，一个女儿。儿子雅亭、文亭是第一任妻子所生，小儿子文亮和女儿月华是到印尼后叶玉梅所生。
霍东阁到印尼后，吃尽苦头，但后来终于站稳脚跟。他在印尼发扬武术，还当起了名医，这得益于霍家祖传的接骨疗伤秘方和“神力丸”。据称，“神力丸”吃了之后可以增大气力。而霍家主要的经济来源就是卖药。
1960年，霍东阁在印尼万隆逝世，自他到南洋后，再也没回到中国故土。而精武会的发展则由留在国内的刘振声、农劲荪维持。
后人分散，长孙富有
霍家的后代居住比较分散。当年，霍东阁带着大哥霍东章的长子霍寿嵩一起远赴南洋。霍寿嵩继承了霍家的医术，其长子霍公正是印尼有名的医生，也是霍家子孙中最为富有的。
霍公正在印尼的老房子有300平方米，是用20公斤黄金买下的。 新买的别墅有一千平方米，装修豪华、富丽堂皇，配备有司机、门卫、保姆。
霍元甲在国内的后代基本上和武术没有任何关系，主要以务农为生。霍东阁的大儿子雅亭一家人在天津市区，二儿子文亭留在小南河村务农，三儿子文亮在印尼万隆。
霍元甲的曾孙霍自正是文亭的儿子，目前担任村里霍元甲文武学校名誉校长。他的儿子、女儿则以开小服装店为生。
目前，霍家后人从事有关武术的工作也就是霍自正的侄女——霍静虹，她在天津财经学院当武术老师，所练的也不是霍家拳了。霍家的后代没有了武术高手，都忙着挣钱去了，迷踪拳没有在霍家后代得到继承，不得不说是一种遗憾
