焘从叛徒又堕落了一步，成为军统的“特种政治问题研究室”主任，当了特务。
戴笠的酒席是不能白吃的。张国焘做了军统的人，就得为特务组织卖力。他向戴笠提出要办训练班，教国民党特务如何打进共产党内部搞策反和破坏。戴笠满口答应，要钱给钱，要人给人。第一期开办时，有各地挑选来的一百多人。张国焘给他们讲共产党的情况，给他们分析研究如何打入共产党内部，骗取信任。然而真正运用起来，却完全不是那么回事。张国焘派几个特务拿着他的亲笔信去边区策反，这些家伙都是有去无回。张国焘白忙了半天，让戴笠赔钱又赔人，特务们对张国焘讲的那套空理论也都很不耐烦。在无可奈何之下，短命的训练班办了两期就停掉了。后来胡宗南向戴笠建议：利用张国焘在红军中的关系，在八路军中搞些策反。张国焘写了多封亲笔信，派人送进山西的八路军根据地，也都没有下文。张国焘开头向戴笠夸口，保证很快就在延安建立国民党的情报站。结果试了几次，根本没有可能。为了向蒋介石交代，戴笠只好在国统区与陕甘宁边区交界的洛川县建立了一个电台。
国民党特务是很实惠的，他们需要叛徒就是想得到确切的情报。张国焘在军统，不断有特务来找他了解情况，让他提供共产党地下组织的具体线索。这使张国焘非常尴尬，他是想当领袖和大官的人，当这种“眼线”未免太掉价。说实话，中共地下组织的具体情况，他也不可能知道。他尽其所知回答特务的提问，仍然不能满足对方，逼得他只好躲到同乡蔡孟坚家，竟说是来“避难”。
如果说张国焘一点作用没起，也冤枉他。几年中还是有几个人投靠了他。一个是何畏，他看到张国焘逃跑了，想想自己是张国焘的亲信，怕将来没好下场。于是向中央请假去西安治病。何畏身上有伤是实，中央批准并给了路费。何畏到了西安就叛变投敌，没想到国民党不相信他，把他关起来审问了半年，张国焘知道后求戴笠帮忙，何畏才来到重庆见张国焘。二人相见后，何畏“大哭大悔”。说是失去了大批部队归向的机会。其实国民党才不傻，张国焘都带不出部队来，何畏又能有多大本事？过了两年，原红33军参谋长朱德崇，在冀鲁豫军区当个团级干部，因搞腐化被人发现，怕挨处分，就叛变投了张国焘。戴笠听了张国焘汇报马上问：这位团长的队伍开到了什么地方？张说：是团长先出来的，联系好了再去带部队。戴笠立刻没了情绪，知道张国焘又在吹牛。
为了讨好军统，张国焘竟然去做出卖人格的事情。1942年军统在重庆逮捕一名中共地下党员，张国焘亲自前去劝降。他自我介绍的时候，那位党员为之一惊。当张国焘说像自己这样地位高的老党员都不再当共产党，而愿意投向国民党的话时，那位党员很坚决地说：“我不能这样做，死又有什么可怕的！”张国焘无话可说，只好厚着脸皮说：我是为了你好，你再考虑考虑。便灰溜溜地离开了。后来这位党员坚贞不屈，壮烈牺牲了。
张国焘在军统待了几年，光吹牛不见实效。戴笠也看透了这块“宝贝”，据他的经验，张国焘在共产党内已经被批倒批臭，谁也不会再跟他走了。当然他也不否认这与共产党组织严密、防范有力有很大关系。于是张国焘渐渐受到冷落，日子一天比一天难过。蒋介石对共产党的叛徒是很鄙视的，他曾对戴笠说过：对共产党叛变过来的人，只能利用，不能亲近。因为他们能叛变共产党，有朝一日也会叛变我们。戴笠又把蒋介石的话传达给部下。所以，军统特务们也看不起张国焘，时不时给他穿小鞋，找岔子。原来给他的优厚待遇也渐渐消失了。有一次军统进了几部新的小汽车，沈醉等特务头子都在那里试车玩。突然有人报告张国焘要用车，沈醉有车不派，故意让给他派一辆三轮破车。旁人都知道他在整张国焘，哄笑一阵。等张国焘被雨水淋得透湿，坐着三轮过来，看到这么多新车不给他用，不由得大发脾气。沈醉根本不买账，拍着桌子对他喝道：“张主席，请你收起这一套吧，这里不是延安！要识相一点。”张国焘羞得满脸通红，眼泪都快掉下来了。后来戴笠知道，大骂沈醉不懂事。说张国焘虽然没起多少作用，但不能说他没卖力。而且张国焘毕竟是有影响的人物，如果外边知道我们对他不好，会使一些想来投奔的人感到寒心。虽然沈醉向张国焘赔礼道歉，张国焘却已经寒了心。他沉痛地对托派郑学稼说：“我是身家不清白的人！”
当时朱家骅在重庆任国民党的组织部长，他与张国焘是北大校友，凭着这层关系，朱家骅安排张国焘在“政治设计委员会”中当了主任委员。这也是一个虚职。张国焘去办了几天公，对国民党机关中那套作风很不适应，对朋友说他在那里“无计可设，无公可办，每日去坐一、二小时，颇感无聊”。后来经朱家骅建议，蒋介石委任张国焘为国民参政会参政员。这是国民党搞的“民主”把戏，而周恩来等共产党人则把参政会当作与各民主党派搞统一战线的活动场所。张国焘当上委员，觉得地位高了，很有面子。但出席会议时，周恩来、董必武等共产党人根本不理他，其他民主党派的负责人也不和他接触。张国焘