不逃亡日本，成为朝鲜主政者闵妃等人的仇敌。1894年3月，闵妃派出的刺客洪钟宇，以重金诱使金玉均在上海与清王朝官员李经芳会晤，骗得金玉均来到上海。在上海美租界的日本旅馆内，洪钟宇破门而入，连开三枪枪杀了金玉均。
日本政府多次派人想引渡洪钟宇，运走金玉均尸体，但都被拒绝。清王朝一直支持朝鲜压制国内的亲日势力，为此特派军舰威靖号专程将洪钟宇本人以及金玉均遗体送回了朝鲜，朝鲜不仅在杨花津刑场将金玉均的尸体凌迟暴尸，还处理了金玉均家族。这一事件令日本朝野上下颜面无光，恼羞成怒，纷纷谴责日本政府的软弱。
5月20日，日本议员犬养毅等各界人士约2000人在东京浅草寺举行金玉均葬礼。葬礼上众人声称将金玉均遗体运回朝鲜是对日本极大侮辱。
随后，“征清论”等宣传在日本媒体上被连日渲染，日本政府和民间在挑战清朝上逐渐形成一致。在日本，很多人也把“金玉均暗杀事件”与朝鲜东学党农民起义，共同视为甲午中日战争爆发的直接原因。