中国作为世界大国，自现代奥林匹克运动诞生之日起，就与她结下了难以割舍的不解之缘。1894年国际奥委会在筹备第一届奥运会之际，就向当时中国的清王朝发出了邀请，但没有得到答复。1904年以后，奥林匹克运动逐渐为一些有识之士所关注，国内的一些报刊杂志开始对其进行报道，奥运精神得以在华夏大地上传播。1913年中国政府参与发起了奥林匹克运动在亚洲的先驱——远东运动会（最初名为“远东奥林匹克运动会”）。1915年国际奥委会承认远东体协，并邀请中国参加下届奥运会和奥委会会议。

1922年，中国人王正延当选为国际奥委会委员。1924年第八届奥运会上，中国首次派3名运动员参加了表演赛。1928年第九届奥运会，中国派观察员宋如海对其进行了考察工作。1931年中华全国体育协进会被国际奥委会承认为“中国奥林匹克委员会”，中国正式参加奥运会的历史自此开始。1932年第十届奥运会，中国派出由刘长春等6人组成的代表团参加，刘长春在100米、200米预赛中位居小组第五、六名，未能取得决赛权，他是中国第一位参加奥运会的选手。1936年第11届奥运会，中国派出140人组成的代表团参加了篮球、足球、游泳、田径、举重、拳击、自行车等七个项目的比赛。

1948年第14届奥运会，中国派出33名男运动员参加了篮球、足球、田径、游泳和自行车等5个项目的比赛，但没有一人进入决赛。1952年第15届奥运会在芬兰的赫尔辛基举行。中国正式接受邀请较晚，只派出了40人的代表团，可当代表团到达赫尔辛基时，比赛已接近尾声，只有吴传玉参加了百米仰泳比赛。1952年到1979年间，由于政治上原因，中国没有参加期间的几届奥运会，而中国台北则派队参加。

1960年罗马奥运会上，中国台北选手杨传广夺得十项全能比赛银牌，这是中国人获得的首枚奥运会奖牌。1979年国际奥委会恢复了中国的合法席位，决定中华人民共和国奥林匹克委员会的名称为“中国奥林匹克委员会”，设在中国台湾省台北市的奥委会的名称为“中国台北奥林匹克委员会”。自此，海峡两岸的中国人都有了参加奥运会的机会。1980年和1984年中国代表团两度参加了冬季奥运会。1984年第二十三届洛杉矶奥运会，中国派出353人组成的大型代表团，其中225名运动员参加了除足球、拳击、马术以外的其余16个大项的比赛，共夺得15枚金牌，8枚银牌，9枚铜牌，名列本届奥运金牌榜第四位，实现了历史性的突破。此后的几届奥运会，中国均派出大型代表团参赛，并取得了较为优异的成绩。

1991年，中国北京向国际奥委会提出举办2000年夏季奥运会的申请，最后惜以二票之差未获成功。1999年，北京市政府再次提出承办2008年奥运会的申请，经中国奥委会同意后，由市长亲自前往国际奥委会总部递交了申请书。在2000年悉尼奥运会上，中国代表团取得了金牌榜及奖牌榜均列第三位的好成绩，标志着中国体育水平开始步入世界一流行列。2001年北京时间7月13日22:10，北京在国际奥委会第112次全会上获得第29届2008年奥运会主办权。