不是张之洞创办的，是李鸿章和曾国藩共同创办起来的。
1862年，李鸿章率淮军进驻上海以后，为了和兵力众多的太平军抗衡，于是大量从西方购买武器，武装淮军。装备了洋枪、洋炮以后的淮军确实战斗力大为加强。但是由于此时李鸿章还没有可靠稳定的外购途径，因此购买的西式武器不仅价格高昂，而且时常买不到。
为了解决这一困境，让李鸿章有了“师夷长技以制夷”的想法，考虑自己开办兵工厂仿造西式武器。1863年，在常胜军任职的英国人马格里投入淮军，担任炮队教习一职。为了吸引李鸿章的注意，马格里向李鸿章建议自造弹药，以降低成本，并利用军中工具自己造了一颗炮弹，以证明这一计划的可行性。
马格里的建议正好和李鸿章的想法不谋而合，所以李鸿章马上命他招募工匠，开始生产弹药。并命参将韩殿甲和候补知县丁日昌也分别开设兵工厂，模仿马格里生产淮军所需的弹药。
李鸿章攻克苏州以后，马格里的兵工厂随之迁移到苏州，改名为苏州洋炮局，后又搬迁到南京，成为了后来有名的金陵制造局，而此时的李鸿章已经不再满足于只制造弹药，有心仿造西式枪炮，于是命留在上海的丁日昌寻访合适的洋人工厂，加以收购，以便扩大生产规模。
1865年，丁日昌找到了一个合适的目标，那就是旗记铁厂。旗记铁厂是美国人科尔所创立，具有修造船只、制造大炮、枪支的能力。因为旗记铁厂开设在虹口租界内，周围居民对于身边有这么一家兵工厂极为不满，科尔为了避免麻烦，有意出售。
就这么最终李鸿章花了4万两白银，将旗记铁厂买下，并将韩殿甲和丁日昌两处兵工厂的人员、设备一起并入，改名为江南机器制造总局，由丁日昌进行管理。
而在1865年年底，奉曾国藩之命去欧美采办机器设备的容闳返回国内。曾国藩见李鸿章扩大军工生产需要设备，就将机器都拨给了江南制造局，这么一来江南制造局更是如虎添翼。
到了1866年，李鸿章受命率淮军北上征讨捻军，曾国藩回来继续担任两江总督一职，江南制造局也转归他管辖。为了方便江南制造局的发展，1867年曾国藩将其迁移到了高昌庙，并大肆扩建，扩建以后的江南制造局很快成了国内最大的军工厂之一。
江南制造局早期主要是为淮军生产武器、弹药。而曾国藩一直对于西洋轮船颇有兴趣。早在1863年，他就在安庆内军械所试造过蒸汽轮船，可惜不是很成功。此时随着江南制造局生产能力的增加，已经有余力建造轮船，所以曾国藩在1867年上奏朝廷，申请让江南制造局建造轮船。
旗记铁厂原本的主要业务就是修造船只，因此这一次试造非常成功，1868年年7月27日，中国第一艘蒸汽军舰在制造局下水，曾国藩将其取名为“恬吉”号（后改名“惠吉”号）。此后江南制造局又陆续建造了“操江”、“测海”、“海安”、“驭远”、“金瓯”、“保民”等舰，成为国内仅次于福州船政局的第二大近代造船厂。
