20世纪末，中国的东北、山东、江苏、安徽、浙江等地兴起了一股大规模修建铁路之风。1897年，由南洋大臣提议，江苏省决定兴建上海至南京的沪宁铁路，预算资金七百万两，但是，当时江苏省拿不出这笔资金，于是就动用原向英商瑞记洋行借款计一百五十万两，再加上两淮盐务司拨款一百万两，张之洞从直隶海防署拨款五十万两，合计三百万两先筑淞沪铁路。当时，英国政府企图控制中国的铁路权，他们通过总理衙门，愿意向中国贷款兴建沪宁铁路。1898年盛宣怀（杏荪）代表沪宁铁路局向由英商汇丰银行和怡和洋行为主组成的中英银公司签订借款合同，向中英银公司借款三百五十万英镑。由于铁路投资涉及国家主权，当中英签订沪宁铁路借款合同之事传出后，立即遭到江苏全省绅商的反对，但合同业已生效无法修改，江苏省只得采取补救办法，将借款额改为二百五十万英镑，并争取早日归还本息，结束合同。 在沪宁铁路修建的同时，考虑到江苏省与邻近的山东、安徽、浙江等省的铁路并轨，江苏省又先后成立江苏省铁路公司和沪嘉铁路公司，计划修建上海至嘉兴的沪嘉线，苏州至嘉兴的苏嘉线，清江至徐州的清徐线，清江至海州的清海线。鉴于原沪宁线借款曾引起的风潮，江苏铁路公司和沪嘉铁路公司就实行募集商股的办法。
继江苏铁路公司成立后，1905年，浙江省也成立全省铁路公司。为了防止外商插手浙江铁路，浙江也掀起了一场保路运动，全省绅商纷纷认购股票。当股票认足后，浙江铁路公司考虑到当时杭州只有十余家资本额并不大的钱庄，如将大量资本存入钱庄，势必会给今后使用带来困难，于是，在1906年正式成立浙江铁路银行。不久，这家银行又通过集股而改组为浙江兴业银行（今北京东路江西中路口的大楼叫“浙兴大楼”，为该行行址）。 浙江铁路公司成立后就计划建造上海——杭州——宁波的沪杭甬铁路，并先建杭州至嘉兴段，以便与由江苏省承建的沪嘉线接轨。 沪杭甬铁路上海至嘉兴段于1909年筑成通车。同年，沪杭甬铁路上海站建成并投入使用，因位于上海市区的南面，故被叫作南火车站。南站占地约275亩，位置相当于今新肇周路以东，普育东路、沪军营路以西，瞿溪路与中山南路之间，车站主建筑为二层西洋式建筑，正大门朝南开在今南车站路上，车站内设有候车室和三座建有雨棚的月台，车站附近有有轨电车与城厢相通。在建筑规模和规格上并不逊于北火车站。 南火车站 由于沪宁和沪杭甬铁路分属跨省的两个铁路公司，其中沪杭甬铁路嘉兴以南属浙江铁路公司，以北属江苏铁路公司，因此，管理上非常混乱，尤其是这两条铁路不并轨，车站又分设两地，也给乘客带来诸多不便。
1914年，沪宁铁路和沪杭甬铁路先后收归国有，并成立“沪宁、沪杭甬两路总务处”，统一管理两路。同年，两路总务处着手兴建从北火车站至新龙华的铁路支线，并于1916年12月9日正式建成通车，从此沪宁和沪杭甬铁路并轨。由于北火车站位于市区中心区，交通方便，人流量大，部分驶往浙江的火车也以北火车站为始发站。与北火车站相比，南火车站的地位和作用就小得多了。 南火车站的建成通车对促进南市的市政和经济发展起了很大的作用。在南火车站兴建以前，陆家浜（今陆家浜路）以南的地区大多为私人坟地和善堂、会馆的义冢。随着南火车站的通车，这里的地价激涨，那些坟地相继被转让后建为住房、工厂、学校或其他建筑；由于从城厢去车站的人数大增，上海又在南门外开筑了多条马路，今天与南车站相接的大兴街初建时叫“大新街”，就是以新建的大街而得名的。同样，火车站是进出上海的口子，许多不法商人在这里设地摊，专门出卖假冒伪劣商品骗取初到上海的外地人钱财，沪语把假货、次货叫作“大兴”或“大兴货”，“大兴街”据说就是因大新街上常见的不法商业行为而得名的。 1937年“八一三”淞沪战争中，南火车站被日寇炸毁，因为当时沪杭甬铁路和沪宁铁路已并线多年，所以以后一直没有重建，这里的几条带“车站”的路名才使人想起它的存在。
