隋朝以前，自西漢至南北朝，基本沿襲秦朝官制，隋文帝即位後，為加強中央集權，對行政機構進行瞭一些改革。綜合前代各種制度，確立瞭三省六部制。
開皇元年 （公元581年），楊堅登位不久，立即采納瞭大臣崔仲方的建議，廢除北周模仿《周禮》在中央設立的“六官”制度，“依漢魏之舊”建立中央機構。《隋書·百官志》說“高祖踐極，百度伊始，復廢周官，還依漢魏。唯以中書為內史、侍中為納言、自餘庶僚，頗有損益”。
三省制
隋文帝時期的三省，在中央設置尚書、門下、內史三省。
內史省
內書省是決策機構，長官叫內史令；與尚書省、門下省鼎足而立的是內史省。內史省後來改為內書省，為中樞的制令機關，專司起草皇帝詔令
門下省
門下省是審議機構，長官叫納言；門下省在隋初是侍奉諫議機關，掌審查政令及封駁諸事。其長官有納言二人（正三品），它本是侍奉內廷，以備皇帝之顧問。
尚書省
隋代的尚書省地位很高，是執行機構，管理全國政務。長官叫尚書令，副長官叫左、右仆射。《隋書·百官志》說：“尚書省，事無不總”。這句話說明瞭尚書省在中央最高行政機構中權力之大，地位之尊。尚書省下設史、禮、兵、都官（後改為刑）、度支（後改為民）、工六部，各部長官為尚書，副長官為傳郎。三省的長官等於秦漢的宰相。把宰相之職一分為三，避免瞭權臣專權，中央集權進一步加強。
隋朝三省六部制
秘書省和內侍省
三省之外，還有秘書省和內侍省，這是掌握具體事務的官署，秘書省掌圖書籍藏整理。這個官署一般比較清閑，長官為秘書監（正三品）1人，次官有秘書丞1人。屬官有秘書郎4人、校書郎12人、正字4人、錄事2人，領著作曹、太史曹。著作曹掌國史修撰，有著作郎2人，佐郎8人，校書郎、正字各2人。太史曹掌天文歷法，置太史令、太史丞、司歷各2人，監候四人。隋煬帝大業年間，又新置儒林郎10人，掌明經顧問，唯詔所使。文林郎21人，掌撰錄文史，檢討舊事。
內侍省是內廷的侍奉機關，隋初由宦官擔任。置內侍（從四品上）2人為其省長。次官有內常侍2人。屬官有內謁者監6人，內寺伯2人，內謁者12人，寺人6人，伺非8人，統領尚食、掖庭、宮闈、奚官、內仆、內府等六局。煬帝時改內侍省為長秋監，有長秋令、少令、丞等皆用士人，低級役使人員則用宦官。
以上是隋代中樞機構的“五省”，朝廷內外政務皆由其統轄，為中央最高執政機關。
監察機關
隋初的監察機關隻有禦史臺，煬帝大業三年（公元607年）又增設瞭謁者、司隸二臺，合稱三臺。禦史臺的長官為禦史大夫 （從三品）1人，次官為治書侍禦史2人。屬官有侍禦史8人，殿內侍禦史、監察禦史各12人，錄事2人。禦史職掌糾察彈劾。如《隋書·李孝貞傳》載：隋初李孝貞為內史侍郎，不稱職，文帝欲免其官，就先“敕禦史劾其事，由是出為金州刺史”。禦史還出使巡察，監諸軍旅，如 《隋書·柳彧傳》載：開皇時，柳彧為治書侍禦史，持節巡察河北五十二州，“奏免長吏贓污不稱職者二百餘人”；仁壽初，又持節巡察太原道十九州。煬帝時設置瞭謁者、司隸二臺後，便分割瞭禦史臺的職權。謁者臺的職掌是奉詔出使，慰撫勞問，並持節察按，遇有冤獄則受而奏之。長官為謁者大夫1人 （正四品）。司隸臺職掌巡察京畿內外，長官為司隸大夫1人 （正四品），屬官有別駕2人，分察畿內，一人管東都洛陽，一人管京師長安。有刺史14人，從事40人副之，掌巡察京畿以外的全國郡縣，其職責是“激濁揚清”，若遇貪黷的郡守則有權免職，有功則上報其事跡，加以旌勉。不久，司隸臺被廢，改派以京官清明者掛司隸銜頭出使巡察。
隋朝疆域圖
隋初的都水臺和太常以下十一寺，到煬帝大業三年（公元607年）演變為太常、光祿、衛尉、宗正、大仆、大理、鴻臚、司農、太府等“九寺”，以及國子、將作、都水、長秋和從太府寺分置的少府等“五監”，統稱諸寺、諸監，也都是中央具體的事務機關。由於各寺、監長官都得親自處理事務，六衛府。各府所轄之驃騎府改稱鷹揚府，軍人改稱衛士。十六衛府為中央軍事宿衛機關，統領全國軍隊。這與尚書省兵部僅掌軍事行政，而無一兵一卒之權不同。十二衛各有大將軍1人，將軍2人，分統府兵。四府不統府兵，各置郎將1人，直齋或直閣若幹人。備身府掌左右侍衛，監門府掌門禁守衛。