由于他不肯满足日本帝国主义的无理要求(包括开矿、设厂、移民和在葫芦岛筑港等),1928年6月4日晨5时许,当张作霖所乘由北京返回奉天专列驶到皇姑屯附近的京奉、南满两铁路交汇处桥洞时,被日本关东军预先埋好的炸弹炸毁,这位乱世枭雄身受重伤,当日逝世,享年53岁。这就是当时轰动中外的“皇姑屯炸车案”。
1928年6月4日夜间,张作霖乘坐专列由北京返回沈阳。当行驶到沈阳郊区的皇姑屯车站时,张作霖乘坐的专列车厢突然发生剧烈爆炸,张胸部负重伤,送到沈阳医院不久便断了气。当时,专列中还有17人死亡。为了将这次暗杀行动嫁祸于日本政府,苏联特工小组特意把炸弹埋在了由日本关东军警戒的铁路架桥上。