首先从行枢密院改为大都督府主要是因为当时朱元璋势力膨胀所导致的。当时朱元璋在小明王之下已经位居中书省左丞相。而当时整体的大环境来说，还存在有陈友谅、张士诚、方国珍等等反动势力，因此对于军事力量的整合至关重要，所以也就促成了当时第一步的军事改革。
之后到洪武十三年，因为胡惟庸案发以至于朱元璋废除了中书省。与此同时，朱元璋也将大都督府分为五军都督府。基本上的学者都将这一转变认为是由于大都督府权力过重，朱元璋希望能够加强自己的权力。丁玉作为大都督府的左都督仅仅数月就被朱元璋处死，这一用意已经是非常明显的。
五军都督府作为大都督府的继承，尽管他是伴随着皇权不断加强而产生的产物，但是其作为军政机关的基本职能还是被保留了下来。根据《明会典》以及《明太祖实录》等材料我们可以发现，这一时期五军都督府的主要职能就是调拨官军、整顿军队、实行赏赐等等。但是在此基础之上，五军都督府也是受到了兵部职能的限制。我们可以发现，五军都督府成立之后，其原先较为单一的管理军队、统辖军队的职能被逐渐分散。由于兵权一分为二，由五军都督府和兵部分而掌握，所以两者之间形成了一种互相牵制的关系。最终的受益者还是皇帝，通过这样的形式，皇帝达到了集权的目的。
总的来看，五军都督府的设立主要就是因为要实现皇权对于军权的最大化控制。朱元璋最早设立大都督府就是为了控制当时的军权。之后由于军事权力还是进一步的向大都督府集中，所以朱元璋最终决定将大都督府一分为五。另外一方面，在国家逐渐稳定下来之后，也就趋向于文官政治，明朝通过兵部和五军都督府两者分权这样的形式来实现政权的稳固。
