1954年起任西班牙奥林匹克委员会委员。
1966年，萨马兰奇获选为国际奥委会委员，并从1974年起连续担任了礼宾官、执委、副主席、主席。就这样，萨马兰奇“从内部”了解了国际奥委会所有级别的体育机构。
1967年——1970年任西班牙奥委会主席。
1974年——1978年担任国际奥委会副主席。

1980年在苏联莫斯科举行的国际奥委会第83次全会上获选为国际奥委会主席，接替爱尔兰的迈克尔·莫里斯·基拉宁勋爵，一直在任至2001年7月退休。退休后担任国际奥委会终身名誉主席，及瑞士洛桑奥林匹克博物馆主席职务。

萨马兰奇退休前的最大心愿，是希望奥运会能在中国举行。2001年7月，北京成功取得2008 年夏季奥林匹克运动会的主办权，为他完成心愿。

2001年7月16日在莫斯科举行的国际奥委会第112次全会上正式退休，随即被授予奥林匹克金质勋章，并接受“国际奥林匹克委员会终身荣誉主席”称号。在此次全会开幕式上，俄罗斯总统弗拉基米尔·普京授予萨马兰奇“荣誉勋章”。

萨马兰奇是一名公开的主业会会员。他也是IESE Business School的著名毕业生。

年轻时他风流倜傥，佳丽环绕；22岁步入商界不久，他就成为巴塞罗那一家著名纺织企业的总经理；他是一个银行家，是世界许多知名企业董事会的成员；他曾是西班牙举足轻重的政治风云人物，担任过巴塞罗那市议会议长、西班牙体委主任和西班牙驻苏大使等重要职务；在他担任主席期间。国际奥委会成为全球成员最多的国际组织，奥运会也走出低谷，火暴兴盛，奥运赛场更是变得异彩纷呈；更主要的是，他是一个不折不扣的改革家，体育商业化、奥运职业化等都是他的首创……

萨马兰奇在国际奥委会主席的位置上已经坐了17个年头，其间经历了难以数计的曲折和磨难，但他始终是国际体坛一面不倒的旗帜，没有人能够替代他的位置。如今萨马兰奇已年届古稀，但他在国际奥委会的地位仍然稳如磐石。1997年3月5日，萨马兰奇欣然接受国际奥委会执委会的请求，再次连任一届国际奥委会主席。为此，国际奥委会也再次修改主席退休年龄，由75岁提高到80岁……