赵匡胤虽然没有完成统一北方，消灭北汉的目标，但是他没有就此气馁，毕竟，这次是按着北汉摩擦，又迁走了不少北汉子民，也算有所收获。
他回到皇宫后，思来想去，发现这次出征过程中，军队的将领与士兵之间，还残存后周时候的陋习，许多上下级军官称兄道弟，拉帮结伙。他认为杯酒释兵权之后，虽然把禁军将领和大将军都更换了一些人，但只是一时之策，表面上解除了眼前危，但治标不治本。想要长治久安，必须从制度建设人手。
于是，赵匡胤就考虑构建起一套完备兵制，打算从体制、机制上杜绝武将专权的可能，这才是抽薪止沸的长久之计。
用兵制度，表面上不过一纸文书，看似死板教条，但其实一项好的制度，都有贯穿其中的思想理念，都有它的核心。
而赵匡胤主导创制的大宋军制，它的核心就是“分权”与“维制”。
赵普曾跟赵匡胤提过:“天下有兵、政二权，兵权宜分不宜专，政权宜专不宜分。”原因是兵权如果集中在一人、一机构、一藩镇、一军队，那么起兵作乱，几乎是一种必然。
赵匡胤听完，觉得有道理，所以，开始大刀阔斧地劈向唐末五代以来武将擅权的乱局。如果说，天下兵权是一块大饼，它被大卸八块，被反复细致地切割，然后重新归置。
赵匡胤改兵制、分大饼，核心一个字，就是“拆”，把禁军“二司”拆成了“三衙”
禁军分为侍卫与殿前二司，侍卫司长久以来权柄甚重，二司力量对比失衡了。当初柴荣改革禁军，有意识地削弱侍卫司，扶持殿前司，赵匡胤由此执掌殿前军，登基之前始终在殿前司任职。
当赵匡胤黄袍加身，完成从殿前都点检到大宋天子的华丽转身，所处的位置不同，看问题的视角也随之改变。他极为清醒地从殿前司主帅的角色中脱身出来，站在更宏观更全局的视角看待禁军二司力量配比问题。
不需要再强化殿前司势力，尤其是极端敏感的“殿前都点检”这一职位已经不再设置，副都点检也不再任命将领担任。
传卫司还需进一步削弱，于是被一拆为二。根据侍卫司内部原有的马军、步军之分，侍卫司被拆分成传卫马军司、侍卫步军司两个部门，前司鼎足三立。
原本侍卫亲军马步军都指挥使一职，统领马马、步军，是当之无愧的禁军一把手，如今随着侍卫司的瓦解，这一职位自然不复存在，从此，禁军再无总的统将帅。
这正是与机构设置同时并进，赵匡胤逐渐拿禁军高职开刀，什么殿前都点检、殿前副都点检、侍卫亲军都指挥使、侍卫亲军副都指挥、侍卫亲军都虞候，这五个最高级别的军职，赵匡胤有意让它长期空缺，不授予任何人。后来，他干脆把五大军职全被撤销了。
经过这一番调整，宋朝的禁军机构从“二司”逐渐过渡到“三衙”制，形成殿前司、侍卫马军司、侍卫步军司“三衙”鼎立的格局，长官分别为殿前都指挥使(殿帅)、侍卫马军都指挥使(马帅)、侍卫步军都指挥使(步帅)，从此“三帅”各管各的，互不统属，谁也管不了整个禁军，都听命于皇帝一人。
就这样，赵匡胤一步步地将原本那些位高权重的禁军职位或撤销、或虚置、或削权，朝野内外再也没有权势彪炳，能够威胁到皇权的骄悍武将。
这一切改革的核心目的，都是抑制单个机构、职位、将领的权柄。而禁军“衙”中没有老大，没有话事人，没有任何一个武将能够独掌大权统辖整个禁军，因为大权牢牢掌握在皇帝一人手中。
“朕在皇城，足不出宫，就能统摄禁卫军、亲卫军了，免得这些高级将领，威胁皇权，对朕不利。”
赵匡胤坐在御书房内感慨，他很满意这个改制，接下来，又对皇城外的各地驻军兵权下手，开始拆兵权，就是把握兵之权、调兵之权、统兵之权相分离。
这是宋朝兵制改革的重头戏，把兵权的再分割，赵匡胤下令一刀切下，兵权这个笼统复杂的大概念，被细分为握兵权、调兵权与统兵权。
所谓握兵权，也称掌兵权，掌握在禁军“三衙”手中。
三衙负责军队的日常训练及管理，包括禁卫成守的统筹安排、全军将士的升迁赏罚等，只要不打仗，禁军士兵平时都归属于“三衙”，此“三衙”被视为拥有“握兵之重”。
但战事一起，情况马上就不一样了，因为“三衙”无法在战时来调遣军队，没调兵权。
这调兵权也称发兵权，掌握在枢密院手中的权力。枢密院是朝廷内阁中的最高军事机构，总理兵政，掌管全国兵籍、武有涉授、军队调发以及兵符领降。一旦战事爆发，由枢密院来调动全国军，相当于战时中央指挥部。
枢密院临战可以调兵造将，但兵却不在它手上，平时枢密院也不参与军队日常管理。
将掌兵权和发兵权相分离，枢密院与禁军“三衙”互相牵制，两大军事机构从职权上形成微妙的冲突和互补。这样充满智慧与远见的分权制度，正是北宋成功避免武将兵变的关键原因。
改革到这还不算完，一旦发生战争，枢密院的文官，和三衙的将领，赵匡胤都不会启用