拉索担心自己年老体弱不能度过这一关，在立遗嘱时，他首先想到的公证人就是萨马兰奇。
后来奥拉索安然无恙地度过了这次难关，但恢复后仍然感到力不从心。他向西班牙议会提议将西班牙体育运动委员会主任的职位移交给萨马兰奇。
但是奥拉索的建议遭到了马里亚诺·卡尔维尼诺的反对，原定1966年11月25日举行的交接仪式被推迟了。
卡尔维尼诺是卡塔卢尼亚地区政府的一位重要智囊。除了偶尔插身党派活动外，从来没有担任过任何政治职务。然而他势广根深，很多重要决策，甚至包括省长的任命，都要事先同他商量，他是卡塔卢尼亚地区举足轻重的幕后人物。
卡尔维尼诺原是玛丽亚父亲的朋友，可当时玛丽亚还是个小姑娘，卡尔维尼诺今天哪里还记得她。萨马兰奇对卡尔维尼诺很敬重，称他为“马里亚诺叔叔”。可他并没有想到，这位“叔叔”会阻碍对自己的任命。萨马兰奇明白，卡尔维尼诺可能另有考虑。虽然体委主任是体育官职，但也是政治仕途的一个门径。
这次卡尔维尼诺失败了。更多的人仗义执言，举荐萨马兰奇。一位侯爵这样说道：“萨马兰奇丝毫不炫耀自己，他对人坦诚，所有接触过他的人都对他交口称赞。他还常交华盖运，有一次他同我们一起去打猎，还是向我借的猎枪，结果第一天就打死了一只18个角叉的大鹿。”
1967年1月10日，萨马兰奇正式走马上任。在移交仪式上，奥拉索发表了讲话：
“我平生最满意的事情就是我所留下的空缺，是由我亲密的朋友、杰出的合作者胡安·安东尼奥·萨马兰奇来填补。我完全信任他，而且了解他的智慧，他卓越的才能以及他对体育运动和西班牙的热爱程度。”
此前不久，萨马兰奇还经历了他一生中最为重要的转折——1966年4月27日，萨马兰奇当选为国际奥委会委员。
萨马兰奇的事业正如日中天。
然而萨马兰奇万万没有料到，4年后，即1970年9月3日，他突然被解除了西班牙体育运动委员会主任的职务，接任他的是胡安·希奇。
萨马兰奇在巴塞罗那德高望重，在体育界和新闻界更是深受欢迎。起初人们都不相信这一事实。一时间，萨马兰奇成了巴塞罗那以及9月上旬在巴塞罗那举行的欧洲游泳锦标赛的主要话题。
关于萨马兰奇被解职的理由，至今没有一个明确的解释，只有一些猜测。
有人说萨马兰奇在任职的三年时间里把西班牙的体育活动搞得有声有色，报纸、电台、电视经常加以报道，萨马兰奇的声望日益提高。但有几次邀请政府首脑人物参加诸如地中海运动会之类的活动，他事先没有同某些有权势的组织和人物通气，令某些要人耿耿于怀。这些人早就想“修理”一下萨马兰奇，他的下台可能是这些人在背后做了手脚。
也有人说萨马兰奇是当时党派之争的牺牲品，还有的说是卡尔维尼诺做了手脚，究竟是什么至今仍是个问号。
此后一段时间萨马兰奇是在沮丧、茫然中渡过的。他有旺盛的精力却无处发挥，他不明白自己为什么会落得如此下场。朋友们劝他：他们把你从一个职位上赶了下来，但还有其它的职位。你输掉了一场比赛，振奋起来，我们再重新参加比赛。一个聪明的失败者不应怪罪裁判和对手，而应该想到未来，不要总是同裁判和对手过不去。你还是很多董事会的董事，还是巴塞罗那国际航海沙龙主席，还是国际奥委会成员，这已经不少了，真的。
如果说，在此之前，萨马兰奇认为他从政是为了进一步发展西班牙的体育运动，或者以体育运动为自己的政治目标辩解的话，那么现在他已经开始怀疑政治和体育是否可以分开。体育应当向国际化方向发展。至于政治，何必要在那上面浪费时间呢？单纯从事体育活动不是也同样得到了人民的爱戴吗？
1970年10月1日，就是被解职后的第四个星期，萨马兰奇飞赴洛桑担任国际奥委会执委。临行前，他会见了巴塞罗那《终极日报》记者曼努埃尔·比希尔·巴斯克斯，他说自己不会就此沉沦。他还说，那几天，他收到了数以百计的来信，对他领导西班牙体育运动委员会期间取得的成就给予褒扬。对所有的来信，他都一一回信。这是萨马兰奇一贯的做法，因为他知道，冷淡别人的关怀等于失去了别人的支持。
萨马兰奇并没有停止他的社会活动。巴塞罗那国际航海沙龙成了他大显身手的舞台。1961年萨马兰奇在巴塞罗那发起并组建了国际航海沙龙，但那时他主要的精力都用在国际旱冰球协会和巴塞罗那省议会，很少光顾自己建立起来的航海沙龙。现在官场失意的萨马兰奇又回到了航海沙龙，他决心大力推广国际航海运动，用自己的行动向解除他职务的官僚们显示，我萨马兰奇有能力带动任何一项体育事业向国际化方向发展！萨马兰奇很快同国内国外的航船制造厂家，商人以及航海俱乐部建立了广泛的联系，航海沙龙的面积也由4千平方米扩展到4万平方米。沙龙里名流荟萃，甚至连西班