元年(公元前88年)六月，汉武帝行幸林光宫(秦二世所建，位于汉甘泉宫旁)，金日磾因有小病住在宫中侧室。马何罗乘机与他的弟弟马通、马安成连夜假传诏书，杀害使者，起兵造反。次日清晨，皇上还未起床，马何罗没有借口任何理由便从外面进入宫中。这时，金日磾正准备入厕，突然心跳加速，预感有大事发生，他立即坐到皇上卧室的窗户下。没多久，马何罗衣袖中藏着利刃从东边过来，一见金日磾，脸色大变，立即向皇上卧室跑去，企图硬往里闯。说来也巧，马何罗慌里慌张刚跑进屋，就撞到了宫人弹奏的宝瑟上，顿时僵住了。这一楞，就让金日磾赶上，并从后面抱住了马何罗。金日磾高喊：“马何罗造反了!”皇上惊起，左右侍卫拔刀准备格杀马何罗，但汉武帝担心会误伤金日磾，便制止了侍卫的格杀。金日磾扭着马何罗的脖子，将他摔到宫殿下，马何罗被五花大绑地擒获了。其兄弟及余党都被治罪诛杀。由是皇上赐金日磾忠孝节。
金日磾随侍在皇帝身边几十年，尽心尽责，目不逆视。皇上赐给他的宫女，他也不敢亲近;皇上想娶他女儿为嫔妃，他也不同意。其敦厚谨慎如此，让皇帝特别惊异和感动。
汉后元二年(公元前87年)二月，汉武帝病危。当时新立的皇太子刘弗陵只有八岁，皇帝就让霍光(即霍去病同父异母的兄弟)辅佐太子，霍光便推荐了金日磾，并对汉武帝说：“臣不如金日磾!”金日磾却说：“臣，外国人，不如光，且使匈奴轻汉矣!”(见《资治通鉴.汉纪十四》)遂以霍光为大司马、大将军，金日磾为车骑将军，太仆上官桀为左将军，三人受诏共同辅佐太子。当年，汉武帝驾崩于五柞宫，太子刘弗陵即位，是为汉昭帝。可惜金日磾仅辅佐新主一年余，也因病去世了。
这就是匈奴王子成为汉武帝的托孤大臣的故事。一个匈奴王子能如此忠心耿耿地为汉朝皇帝服务几十年而不变，殊为不易。一个匈奴王子之所以会如此，除了他本身的忠诚特质和他母亲的教育管束得法外，与汉武帝不拘一格的用人节操也是有很大关系的。