1926年5月，习仲勋加入了共产主义青年团， 1928年3月，转为中国共产党党员。1930年初，习仲勋受党组织委派到国民党军中做兵运工作，任中共营委书记。1932年4月2日，习仲勋、吕剑人、李特生、许天杰等组织了甘肃两当起义，起义部队改编为陕甘工农游击队第五支队，习仲勋任队委书记。兵变虽遭失败，但却播下了革命的火种。