都督中外诸军事起初并不是一种正式的职官，而是作为一种职衔由担任大司马、大将军或其他高级武官者兼任，这与录尚书事颇有相似之处。至魏孝文帝改革，都督中外诸军事已正式列入职官序列中，并规定了它的品级。在第一次官制改革中，都督中外诸军事定为第一品下；太和二十三年（公元499年）再次改革官制时， 又定为从第一品（注：《魏书·官氏志》。）。从官位上看，都督中外诸军事既低于第一品上的大司马、大将军，也低于第一品中的太尉。但是，大司马、大将军、太尉多为荣宠之位，并不担承实际职责，他们或其他高级武官只有兼任都督中外诸军事才能统率全国武装力量。因此，论实际地位和职权，都督中外诸军事又高于大司马、大将军和太尉，是名副其实的全国军事力量的最高长官。
    魏晋南北朝时期，皇帝委任都督中外诸军事和录尚书事，使王朝的中枢机构形成了两个经过皇帝特别授权的最高权力系统，一个是以都督中外诸军事为首的军事领导系统，另一个是以录尚书事为首的行政领导系统。这两大系统作为皇帝的左右手，在皇权的强化期与弱化期所发挥的作用大不相同，甚至完全相反。在皇权强化期，这两大系统加强了皇帝对政权和军权的控制，而在皇权弱化期，则成为权臣把持全国军政大权以至篡夺皇位的工具。在魏晋南北朝时期的许多朝代，凌驾于皇权之上的权臣几乎都是兼有录尚书事和都督中外诸军事的双重身分，同时掌握两大权力系统的。
    尚书台下设五兵尚书作为常设性的军事行政事务主管机构，也始于魏文帝时（注：《晋书·职官志》：“及魏改选部为吏部，主选部事，又有左民、客曹、五兵、度支，凡五曹尚书、二僕、一令为八座。”）。此后在魏晋南北朝一代，一直履行着军事行政主管的职能，内设机构也日益完善和规范，从而成为隋唐六部之一兵部的滥觞。五兵尚书之设，与魏晋南北朝宰相制度的变化有着直接的关系，它侵夺了太尉主管军事行政的权力。
    秦汉以三公为宰相。太尉系三公之一，其职掌是全国的军事行政事务，所以太尉府是这一时期军事行政的最高主管机构，府中设诸曹，分管众务，如东曹“主二千石长吏迁除及军吏”（注：《续汉书·百官志一》。）。自汉武帝以来，宰相制度逐步发生微妙而又显著的变化，这就是三公作为宰相的权力日益为设于内朝并具有特殊功能的秘书、咨询机构所侵夺。这类机构，在西汉主要是中朝官与尚书，在东汉主要是尚书诸官。光武帝时，尚书台的权力大为膨胀，几乎达到令“三公之职，备员而已”（注：《后汉书·仲长统传》。）的程度。在曹魏时期，尚书台不再隶于少府（注：《宋书·百官志上》谓：“至汉初并隶少府，汉东京犹文属焉。”），正式成为独立的行政机构；尚书台长官不仅握有“综理万机”（注：《太平御览》卷二一二《职官十》引王昶《考课事》。）的实权，而且在舆论上也开始被视为宰相，而作为秦汉时期宰相的三公至此却“无事，又希与朝政”（注：《三国志·魏书·高柔传》。），变成尊崇资深望重的大臣的荣誉之职了。
    曹魏的尚书台长官既然取代三公成为宰相，三公原有的权力也不可避免地为尚书台所侵夺，其具体表现之一，即是主管全国军事行政的权力由太尉府转移至尚书台的五兵尚书。
    历魏晋南北朝一代，五兵尚书一直是常设性的军事行政事务主管机构，有所变动的是在其名称、规模和内设机构等方面。五兵尚书之下又分设若干曹，各有所司。曹魏五兵尚书因分设中兵、外兵、都兵、别兵、骑兵五曹而得名。西晋分设左右中兵、左右外兵、别兵、都兵、骑兵七曹（注：西晋于太康中始置五兵尚书，见《宋书·百官志上》、《晋书·职官志》。）。东晋偏安一隅，兵力有限，仅设中兵、外兵二曹。北魏孝文帝改制，改称七兵尚书，分设七兵、左右中兵、左右外兵、骑兵、都兵七曹。北齐复称五兵尚书，下设左右中兵、左右外兵、都兵五曹，史书对其职能记述较详：“左中兵掌都督告身入诸宿卫官等事，右中兵掌畿内丁账、车力、番兵等事，右外兵掌河北及潼关以西诸兵，所典与左外兵同，都兵掌鼓吹、太乐、杂户等事。”（注：《隋书·百官志中》。）
    魏晋南北朝时期五兵尚书的连续设置及其职能的规范化，使之成为隋唐六部之一兵部的滥觞。隋唐时期完成了宰相制度由三公制向三省制的转变。三省的长官中书令、侍中、尚书令、僕射“共议国政，此宰相职也”（注：《新唐书·百官志》。）。尚书省下设吏、户、礼、兵、刑、工六部尚书。六部之设，其历史渊源基本上是北齐诸曹尚书之制，而北齐之制可以说是魏晋南北朝诸曹尚书及所属曹郎长期发展过程中最为完备的阶段（注：参见祝总斌《两汉魏晋南北朝宰相制度研究》，中国社会科学出版社1990年版。）。六部之制，一直沿用至清末，说明这种结构及其分工适合封建统治的需要。六部之一的兵部，是隋唐主管军事行政事务的最高机构，其历史原型正是北齐的五兵尚书，而北齐此制又是魏晋南北朝一代五兵尚书之制长期发展演变的结果。
    在全国范围内普遍施行都督制，是魏晋南北朝军事领导体制的又一令人瞩目的创举。
    秦汉时期，中央军驻屯于首都及其周围地区，即使外出征战，战事结束后仍回师原驻地。驻屯在郡国的地方军由地方长官郡守、都尉统率。在郡国没有专设的军事辖区。
    与秦汉不同，魏晋南北朝时期自曹魏始即施行都督制，以一州或数州为单位设置军事辖区，由将军担任都督诸州军事，统率和指挥屯驻在该辖区的中央军，并管理所在州郡的地方兵。都督制施行之初，还是属于中央军事领导体制的范畴，后来随着都督的身份逐渐由中央官蜕变为地方官，中央军蜕变为地方兵，其性质和职能也逐渐相应地蜕变成为地方军事领导体制。
    都督制滥觞于留屯制（注：何兹全：《魏晋的中军》，《历史语言研究所集刊》第十七本。）。官渡之战后，曹操相继占领冀、青、幽、并诸州，逐步统一北方。与此同时，由于在兼并过程中大量收编北方各地的割据武装与农民起义武装，曹操拥有的兵力大为增强。随着统治区域和战争规模的扩大，曹操不大可能再像过去那样亲自参加和直接指挥各次战役。当派出几支互不相属的部队参加同一战役或驻守于新占领的地区时，便临时委派一名将军以都督的名义担任主帅，总领诸军。委任都督，最早见于建安三年（公元198年）， 曹操命钟繇“持节督关中诸军”（注：《三国志·魏书·钟繇传》及同书《卫觊传》裴松之注引《魏书》。）。《宋书·百官志》谓“建安中，魏武帝为相，始遣大将军督军。二十一年征孙权还，夏候惇领二十六军是也。”显然有误，建安中应为建安初。建安三年之后，派遣都督日见增多，大约到曹丕称帝前夕，已经经常化了，“置都督诸军，东南以备吴，西以备蜀，随其资望轻重而加以征、镇、安、平之号。”（注：《资治通鉴》卷八○《晋纪》，武帝咸宁五年六月胡三省注。）黄初元年（公元220 年）仅见于史传的都督即有曹仁、曹休、夏侯尚、曹真、夏候懋、吴质、臧霸等七人。 黄初二年（公年221年）确立为正式的职官制度。各都督的辖区大小不一，或为数州，或仅一州之地，权限也不完全相同。