并州乃古九州之一，相传大禹治水时划分域内为九州，并州为其一。
汉武帝元封年中，置并州刺史部，为天下十三部州之一，建安十八年废，魏黄初元年复置。
汉并州和魏并州虽然名称相同，但辖地却大有不同，汉代并州下辖九郡：太原、上党、西河、云中、定襄、雁门、朔方、五原、上郡，到了魏代，下辖为七郡：太原、上党、建兴、西河、雁门、乐平、新兴，虽然听起来并州九郡和并州七郡差不了多少，但事实上魏朝所立新郡多为旧郡析出，辖地已大为缩减，魏并州所辖地域，尚不及汉并州一半之地。
相比中原地区的冀青司兖豫诸州，并州自古以来就有天下之脊表里山河之誉，雄浑险峻的太行山就如平地而起的一条巨龙，横亘在黄土高原和冀州平原之间，以高屋建瓴之势俯瞰中原大地，地势上的优势，让并州自然而然地成为一处兵家必争之地。
不过相比于中原各州的繁华富庶，并州在轻济方面则是大为落后，一方面是狭隘闭塞的地理环境导致的，另一方面则是由于大量的胡人内迁所造成的。
胡人的内迁虽然在一定程度上补充了并州的人口不足，但这些蛮夷之族民风彪悍，好勇斗狠，时不时地扰乱地方，滋扰百姓，给并州的安定笼罩上了一层阴霾。
自东汉末年以来，中原战乱不断，人口锐减，千里无鸡鸣，白骨露于野，民生凋蔽，百姓流留失所，大量的田地荒芜，无人耕种。
在这种背景下，以匈奴、羌、氐、羯、鲜卑等五族为主的胡人不断地向南迁徙，进入到了中原王朝所统治的疆域并州和关中一带。
曹操对胡人的内迁是保持一种开放式的态度的，或许以曹操的雄才大略认为胡人不可惧，只要分而治之，便可保无虞。
匈奴人自秦汉以来就是北方一支强大的游牧民族，不过在汉武帝时期，匈奴被大汉军队屡次击败，元气大伤，后来匈奴人分裂为南北两部，北匈奴在汉朝军队的不断追歼和后来兴起的鲜卑族的逼迫下，西迁而去，消失在了历史的长河之中。
而南匈奴则依附于东汉朝廷，其单于受到汉廷的册封，汉廷亦派出护匈奴中郎将来管理南匈奴。
东汉末年，南匈奴归附于曹操，曹操将匈奴单于呼厨泉扣押在了邺城，并将匈奴分为五部，各设部帅统领之，另以汉人为司马监之。令左部居兹氏县、右部居祁县、南部居蒲子县、北部居新兴县、中部居大陵县，分而治之。
曹操治理胡人是理想化的，认为只要将胡人分化管理，就可以达到长治久安的目的。
或许在曹操统治的那个时期，胡人畏惧于曹操的强悍不敢轻举妄动，但胡人的本性就是野蛮的，桀骜不驯的，他们的臣服也只是暂时的，一旦有机会，他们就会毫不犹豫地起来反叛。
居于祁县的匈奴右部帅刘猛因为领地之争与祁县汉家大族王家发生冲突，继而演化成了一场大规模的叛乱，整个匈奴右部皆叛，时任并州刺史、护匈奴中郎将的田豫派兵征讨镇压，却引起了匈奴其他四部的骚乱，整个并州的形势陷入了一片混乱之中。
并州刺史田豫已经是一位年过七旬的古稀老者了，本来他早有致仕之心，但司马懿认为他年纪正壮，所以才竭力地让他留任。