任命为该部队的参谋长。1933年10月10日，赵尚志又投身中共珠河县委领导下的反日游击队，担任县中心大队的队长。一度受到不公正待遇的赵尚志，在珠河一带挥枪抗敌。1934年5月，赵尚志率领的反日游击队接连攻克了五常和巴彦两座县城。这支由中国共产党直接领导的抗日武装在赵尚志的率领下，给了侵华日军以沉重打击，日寇因此对他恨之入骨，并曾登报悬赏一万元通缉他。1934年6月，珠河反日游击队扩编为“东北反日游击队哈东支队”，赵尚志被任命为总司令。
1935年1月，中共满洲省委领导人发生变动，当年坚持开除赵尚志党籍的个别负责人已经调离。根据赵尚志的多次请求，新的省委慎重考虑赵尚志在离开党组织两年时间的表现，并多次派员亲往宾县和珠河认真倾听赵尚志的意见。同时为慎重起见，省委又找了解赵尚志情况的同志谈话，终于搞清了这起冤案的来龙去脉，于1月12日正式作出《关于恢复赵尚志同志党籍的决议》。省委在《决议》中首先指出1933年对赵尚志的处分是失当的，同时明确指出：“当时省委执行‘左’的机会主义路线，根本不懂得在当时满洲情势下的反帝统一战线的策略路线，而执行了破坏统一战线的‘左’的机会主义，现在以正确的立场，重新认识对赵尚志开除党籍的做法是完全错误的。”省委《决议》在谈到赵尚志被错误开除出党后的表现时说：“赵尚志同志被开除以后，在民族革命战争的烈焰中，能继续艰苦奋斗，在与日本帝国主义长期斗争过程中表现出坚强勇敢的精神。……一年来创造和发展了珠河游击队，开辟了满洲反日游击区域，扩大了党与游击队的很大政治影响，推动了满洲反日民族革命战争的开展。”1935年1月18日，赵尚志被任命为东北人民革命军第三军军长。后还曾任东北民众反日联合军（后改北满抗日联军）总司令。1936年，赵尚志任东北抗日联军第三军军长。第三军所属的9个师，在赵尚志的率领下，在半年多时间里就参加了大小百余次战斗，歼灭敌人1000多人。
1936年9月，伪满军进入“南满”“讨伐”杨靖宇，关东军主力则汇集到三江地区“讨伐”北满和吉东抗联各军。9月中旬，由三军三师政治部主任吴景才率领的二、三师先遣队跨过松花江，刚进入铁力东山，就与当地日伪军展开了激战，先后消灭了80多名敌人。
三军先遣队在铁力的出现已引起北满日军最高指挥官的高度注意，赵尚志率三军主力刚刚启程，日军司令部便迅速部署“大讨伐”。在敌人重兵围堵之中，赵尚志率领骑兵队声东击西，迂回急进，让敌人相信他的攻击目标就是木兰以西的呼兰县城。日军在巴彦一线迅速组织起数道大纵深的阻击。赵尚志率队突然转道北上，向庆城、铁力前进。12月中旬，赵尚志进入海伦、通北两县交界处，他决心对尾追之敌杀个“回马枪”。时值隆冬，冰天雪地，赵尚志率领部队进入深山，在一个叫“冰趟子”的地方设下了伏兵。
这“冰趟子”乃是一面山坡，上面是几座伐木工人住的木营（木屋），山顶终年流淌着几道泉水，冬天便在山坡上结成了冰面，当地人称它为“冰趟子”。赵尚志让部队在沟口两侧用雪和水筑成冰墙。第三天夜晚，七八百日军果然进沟了。赵尚志发令“：打！”刹那间，山沟两侧，枪声震耳，弹雨纷飞。日军仗着人多，“呀呀”叫着向我坡顶阵地冲击。敌人夜间看不清楚，冲上“冰趟子”就往下滑，滑下来再往上冲，最后只能趴在沟底，被动挨打。是夜奇寒，我军战士的枪栓半小时就上冻，赵尚志令人在木营里生上几堆火，让大家轮换着进来烘烤枪栓。日军就惨了，他们趴在“冰趟子”上，枪栓拉不开，受伤的日军则被冻在冰面上，一夜竟有数十人冻死。天亮时，我军子弹已差不多打光，一部分日军才从沟口突围而出。赵尚志派人打扫战场，发现被击毙或击伤后被冻死的日军达300余人。
“冰趟子”战斗后，赵尚志率一师和军部少年连继续北上，进入黑龙江流域和龙门境内。这里是一片茫茫林海，没有人烟，部队在零下四五十摄氏度的酷寒里夜夜露宿雪野。给养已断绝，赵尚志被迫下令杀马充饥。日军派来3架飞机和大批步兵，紧追不舍。这时赵尚志身边只剩下百余人，他让人将多余的枪支埋起来。一天夜晚，部队宿营时哨兵因过度劳累而睡着，跟踪而来的敌人趁机将我军包围。战斗中我军牺牲30人，还失去了所有战马，突围而出的仅70余人。他们在赵尚志带领下靠橡籽充饥，终于穿越茫茫原始森林，回到了汤原汤旺河后方根据地。一年多的时间内，面对日军的重点“讨伐”，三军和六军部队风雪2000余里，大小百余战，虽打破了关东军1936年冬季对抗联各军“聚而歼之”的计划，实力却受到了重大损失。在长期缺粮的情况下，他们仅战马就吃掉1500匹，困厄之中，他的目光北移，希望得到来自莫斯科的支持，因为中共代表团正在莫斯科领导东北的斗争。东北抗日联军既是为祖国而战，也牵制了日军，保卫了苏联。
1937年“七七事变”之后，日军在中国东北大量增兵，斯大林