１８７４年１２月，英国殖民主义者不顾政府的反对，在上海擅自开工兴筑武松铁路。１８７６年１月开始铺轨，６月３０日上海至江湾段通车，开始公开营业。吴淞铁路是在中国土地上出现的第一条营运铁路，它全长１５公里，先后有"先锋"、"天朝"号机车行驶。至１８７７年８月，共运送旅客１６万人次。吴淞铁路的擅自修建遭到清政府的反对。１８７７年１０月２２日，清政府以２８万５千两规平银赎下铁路，是日火车停驶，不久，吴淞铁路即被拆除。此举在一定程度上反映了清政府统治者对于国家主权的维护，但在更深层次上，则暴露了清政府拒绝新生事物，维护封建社会秩序的迂腐观念。在飞速发展的时代面前，这种迂腐观念注定要碰得头破血流。由于铁路是近现代交通的重要组成部分，其发展势头是无法抗拒的，因而在１８９８年，清政府重建了这段铁路，并改名为凇沪铁路。

沪宁线上海北火车站开幕日装扮一新的火车头

１９０８年和１９０９年，上海分别建成了沪宁、沪杭两条铁路单线；１９１６年建成上海北站到新龙华的铁路，衔接了沪宁、沪杭两线，至此，形成了上海铁路的基本格局。