本是匈奴休屠王太子。武帝时,其父与昆邪王密谋降汉,旋反悔,为昆邪王所杀,其部众归汉,遂与母弟被没入官,输黄门养马。后擢为马监,迁侍中、驸马都尉、光禄大夫,入侍左右,出则骖乘。以休屠王作金人祭天,故赐姓金。
后侍中仆射莽何罗兄弟谋刺武帝,他预为防范,当廷擒获。武帝临终,以功封秺(dù)侯,与霍光等同受遗诏,辅佐汉昭帝。昭帝初病卒。 谥号为敬,陪葬茂陵。其家族“世名忠孝,七世内侍”。
金日磾的儿子在宫中闲逛,和一个年轻的宫女调笑起来。这一幕恰巧被路过的金日磾撞个正着。弄儿在父亲几欲喷火的目光中乖乖地回家了。
一连几天,汉武帝没看见金日磾的儿子,觉得奇怪,然后就听说,金日磾的儿子死了。汉武帝几乎不敢相信自己的耳朵,又惊又怒,责问金日磾发生了什么事。
原来,金日磾发现金日磾的儿子调戏宫女之后,回去就把他杀了。《汉书》记载的原因是,金日磾“恶其淫乱”,忍痛杀了长子。