然而，东北三省设置仅四年，武昌起义的枪声便划破中国上空，立国近三百年的大清朝轰然倒塌，中国旋即陷入军阀混战。此时的东北虽名义上归属北洋政府，但实际的掌权者却是奉系领袖张作霖。
张作霖不是别人，正是“少帅”张学良的父亲，名副其实的“东北王”。张作霖的发家之路可谓传奇，其出生于辽宁海城的贫民之家，长大后落草为寇当了“山大王”。
不过，张作霖极识时务，他接受清廷招安，摇身成了清廷重臣。辛亥革命中，张作霖又因镇压奉天省革命党有功，被提拔为奉天防务总司令，但袁世凯就任总统后，张作霖迅速向其示好。
面对张作霖这位识时务又手握重兵“俊杰”，袁世凯只得拉拢，默认张作霖对奉天的控制。有了袁世凯的默许，张作霖便开始其扩张之路。他先赶走吉林督军，控制吉林省，随后又命下属出任黑龙江督军，成功控制东北三省。
东北三省在张氏父子的治理下，维持了近二十年的稳定，工业、民生都得到一定发展。与此同时，东北的行政区划也发生不小变动，名称上由“省”变“道”，再由“道”变“省”；数量上，东北也由三省变成四省外加一..，分别是奉天（1929年更名辽宁）、吉林、黑龙江与新设立的热河、东省..。
热河于1914年设特别区，1928年改成热河省。热河设省并非张氏父子或民国政府的一时脑热，清末时清廷就曾希望将同属关外的热河地区（承德、内蒙古卓索图盟和昭乌达盟）设省。
张氏父子与民国政府不过是继承清廷遗策，利用热河东抵东北、西达察哈尔、北通内外蒙的地理优势分割、牵制内蒙古地区。即使中国内部政局动荡，内蒙古的王公们也不敢名目张胆的进行分裂。
东省的设立则晚于热河，纯粹因1924 年苏联将沙俄占领的中东铁路（以哈尔滨为中心，东起绥芬河，西迄满洲里）两侧30华里土地行政权归还中国政府，张作霖便顺势设置“东省..”（首府哈尔滨）。
