刘渊竖立反晋大旗之后，西晋的并州刺史司马腾立刻派出将领聂玄讨伐刘渊，双方在大陵（今山西交城东南）展开激战。打惯了内战的西晋军队哪里是如狼似虎的匈奴人的对手，聂玄全军覆灭，被吓坏了的司马腾则带着人马逃出并州。
刘渊的大军随后开始攻城略地，先后占领了太原（今属山西），中都（今山西榆次）屯留（今属山西）等占领要地，基本控制了并州东南部。随着刘渊势力的扩大，鲜卑酋长陆逐延，氏族酋长单征，东莱王弥及后来成为刘渊心腹爱将的石勒等人都纷纷投降刘渊。
为了进一步提高自己的威望，西晋永嘉二年（308），刘渊在蒲子（今属山西）称帝，国号任为汉，定都平阳（今山西临汾）。刘渊立长子刘和为太子，任命四子刘聪为车骑大将军，侄子刘曜为龙骧大将军。
