匡衡他之后做成了大学问，但同时他其实还搞腐败。自从做了大官之后，他就做了很多坏事。不仅侵占国家的土地，将被人的土地占为己有，甚至还将四万多亩的食邑归到自己的名下。此外，他的儿子后来成了校尉，但是却喝酒杀人，十分恶劣。
由于官大，很多人都去贿赂他，对于这些贿赂，他更是照单全收。这些背后的坏事，全是他瞒着皇帝做得。但是终究还是有被发现的那天，终于还是被皇帝罢掉了他的丞相位子。
其实并没有多坏。主要是他的儿子很坑爹。
史书上记载：匡衡精通《诗经》，受到汉元帝的赏识，从郎中一路迁升到丞相。虽然当上了丞相，但是宦官石显为中书令，他结党营私，把持朝政。匡衡这个人比较胆小怕事，在权臣面前一直不敢反抗，唯唯诺诺。（《汉书》载：初，中书谒者令石显贵幸，专权为奸邪。丞相匡衡、御史大夫张谭皆阿附畏事显，不敢言。）
直到元帝驾崩，匡衡才上疏汉成帝，弹劾石显，列举其以前所犯罪恶，并纠举他的党羽。但是被他人嘲笑，说他胆子太小，元帝在位时不敢弹劾石显。现在石显的靠山不在了，你才敢跳出来。匡衡脸皮薄，于是数次向成帝辞职，请求告老还乡。但是皇帝认为匡衡的道德修养很好，数次拒绝了他辞职的请求，继续委以重任。由此看来，匡衡除了胆子比较小，好像并没做什么坏事。
至于说匡衡变坏主要是两点依据：第一，匡衡的一个儿子在醉酒之后杀人被关进大牢，另一个儿子居然联合别人去劫狱，最后以失败告终。匡衡为此向汉成帝请罪，但是成帝并没有追究匡衡。（《汉书·卷八》记载：久之，衡子昌为越骑校尉,醉杀人,系诏狱。越骑官属与昌弟且谋篡昌。事发觉,衡免冠徒跣待罪,天子使谒者诏衡冠履。而有司奏衡专地盗土,衡竟坐免。）
第二，有人说匡衡在自己的封地上多占田产土地，被司隶校尉弹劾，从而导致匡衡被罢官，贬为庶人，但也没有受到非常重的处罚。加上匡衡几个儿子的所作所为可以猜测，匡衡多占田地这件事，可能与他的几个不肖儿子脱不了干系吧。
所以说，匡衡这个人，很有才华，道德上也没有太大问题，同时胆子确实很小，对儿子的教育也是一塌糊涂。
但是像网络上流行的“匡衡长大变成一个大坏人”的说法肯定是过于夸张了。
