于光绪六年（1880年）投补太原抚标兵额。后因武功超群，又应童子试。时任山西巡抚的张之洞发现其身体健壮，人才出众，办事踏实可靠，甚是喜爱。提拔为随身侍卫，视为心腹，连连擢拔。
光绪十五年（1889年），张之洞升任湖广总督，时值汉口水患成灾，张彪受委督修湖西大堤。其间，精心设计，严格施工监督，工程顺利完成，水患根除。当地称大堤为“张公堤”。随后，负责监修武泰、武丰两闸，工程同样坚固。
光绪二十三年（1897年），张彪受清政.府委派，赴日本考察军政、营阵以及枪炮诸事，军事才能有所增长。光绪二十六年（1900年）后，在湖创练鄂军，被清政.府授予“壮勇巴图鲁”称号，升授湖广督标中军副将。光绪三十二年（1906年）升任四川松潘镇总兵。是年秋， 宣统三年（1911年），张彪任第八镇统制。
张彪在旧军中起家，养成了专横跋扈的作风。又因为和总督张之洞关系特殊，平日里目中无人，谁都不放在眼里；开始和黎元洪打交道也是这样。
因为他比黎元洪资格老，人脉广，关系硬，对黎元洪随便指使，简直当下人对待。其实，黎元洪的地位虽然不能和他平起平坐，但也差不许多。放到别人身上，肯定