唐太宗革新宰相制度，一是在“三省”长官之外，建立以他官代行宰相职权的制度；二是充分发挥宰相班子的作用。“三省”长官是：尚书省的左、右仆射，中书省的中书令，门下省的侍中。三省长官都是宰相，位高权重。唐太宗为了提拔一些品位不及宰相，但却很有才能和政治远见的官员参与朝廷的最高决策，其名目有“参议朝政”“参预朝政”“同中书门下三品”“同中书门下平章事”“同知政事”等等。为了充分发挥宰相班子的作用，唐太宗强调说：“中书省制订的诏敕，由门下省进行审议，这本是为了防止过失和错误；应当知道，‘难违一官之小情，顿为万人之大弊’，这是‘亡国之政’，尤其要注意防止。”这时要求宰相们既要通力合作，又要充分发挥各自的作用。

隋朝时，朝廷官员有两千五百多人。唐高祖李渊时，在机构和官员设置上，“多因隋制，虽小有变革，而大较不异”。唐太宗即位后，看到这样一支庞大的朝廷官员队伍，办事效率并不高，因而感慨地说：“人用官员，主要看他是不是贤才；‘若得其善者，虽少亦足矣。其不善者，纵多亦奚（何）为’？”他指示房玄龄等人务必要精简机构，做到“并省官员，使得各当所任”。根据唐太宗的指示，房玄龄等人进行了大刀阔斧的改革，对机构进行了调整，最后确定朝廷官员编制为六百四十人。这项改革不仅提高了朝廷官员的办事效率，而且也节省了国家用于官员俸禄方面的大量开支。

为了严肃地方吏治，唐太宗还按照地理形势把全国划成多个“道”：关内、河南、河东、河北、山南、陇右、淮南、江南、剑南、岭南等道。唐太宗从朝廷要员中委任观风俗使，分行四方，“观风俗之得失，察政刑之苛弊”，考察地方官的政绩，以决定对他们的赏罚和升降。同时，唐太宗还亲自负责选派各州刺史的工作。所有这些，对革新地方官吏治都起了积极的作用。