。
少失父母，靠亲戚抚养，并读私塾，常得塾师周济。早年曾参加其兄胡荣珪领导的澧洲、华容、公安的洪门起义，失败后回乡务农。
一九零六年入郝穴预备中学堂学习，时逢民主革命运动兴起，他与同学熊德山、宁郭开、钱铁如等二十余人结为辅仁社，任社长，宣传革命。
一九零九年考入保定直隶高等农业学校；发起成立保定学生断发会；并组织共和会，在京、津、晋、桂、粤、鄂发展会员。
辛亥武昌首义爆发后返鄂，任都督府高等侦探科长、鄂军水陆总指挥，大别山要塞监督等要职。
一九一一年十一月中旬，奉黎元洪之命，以鄂军**全权代表身份赴京、津。月底，胡在津成立津军司令部。十二月二日，成立鄂军代表办事处，胡兼任总指挥，又成立北方革命协会，被推为会长。
曾策划行刺袁世凯。
据胡鄂公在他所著的《辛亥革命北方实录》记载：
汪精卫与袁世凯结成政治联盟后，汪曾将革命党在京、津、保的情况全盘提供给袁世凯。
袁“投之以李”，对汪说：“汝能持之，则团体之发展，暗杀之组织，恣汝为之可也。”
可见，袁世凯极希望通过汪精卫来掌控北方的革命党的活动。