洋务运动开启了中国海军的近代化，清政府建成了广东水师、福建水师、南洋水师和北洋水师，海军建设初具规模。甲午战争中，北洋水师遭受沉重打击，大部分舰船被日军击沉或俘获，仅存兵舰5艘，与战前实力相比可谓天壤之别。南洋水师等虽然并无损失，但是本身规模较小，舰船老旧，战斗力非常有限。甲午战后，国人痛诋海军误国，清政府遂以节约经费为名，裁撤了海军衙门和海军内外学堂。为平息舆论压力，清廷又将林国祥、叶祖珪（ɡuī）、何品璋等海军将领一并革职，北洋水师编制被取消，官兵全部遣散。
    1896年（光绪二十二年），为了京师海防门户的安全，清政府决定重建北洋海军，由总理衙门负责海军建设，以恢复北洋舰队为主，补充其他舰队为辅。同年，清政府先后向德国订造驱逐舰1艘、巡洋舰3艘及4艘鱼雷艇，又向英国订造2艘大型巡洋舰“海天”、“海圻”。这些船舰来华后，清政府甚为重视，称它们为北洋“规复海军之始基”。南洋海军因长期未更新装备，原有兵船日益陈旧。张之洞署理两江总督后，立即上奏裁停旧有船只，以节余之款先后向日本川崎造船厂订制了10余艘浅水炮舰与鱼雷艇，南洋海军规模也有所扩大。同时南洋部分军舰被调北上布防，中国海军的龙旗重新在北洋沿海飘扬。1898年戊戌政变后，主张复兴海军的光绪帝失去了权力，随后又爆发了义和团运动和八国联军侵华战争，这一连串事件使得清朝统治产生严重危机，国家财政经济处于崩溃边缘，清政府遂暂停了购买外国舰船的活动。1901年《辛丑条约》签订时，清廷议和大臣中有人提出把北洋舰队的5艘巡洋舰退还给英德两国，以表示中国不对外备战之诚意。在几乎已经决定的情况下，北洋水师统领叶祖珪等据理力争，才最后保住了这些舰船，但重建海军计划即遭搁浅。
    因海军人才稀缺，清政府确定了“整理水师武备各学堂，简选练习，以储将才”的方针，整顿海军教育、培养人才成了重振海军的重点。1899年4月，光绪帝召见前北洋海军将领叶祖珪、萨镇冰，恢复原职，令其统带新购各军舰。1902年，经北洋大臣袁世凯保奏，开复原北洋海军军官林颖启、李鼎新、李和的官职。1903年，袁世凯又保奏开复蓝建枢、何品璋、程璧光等人的官职，他们成为重建海军的急需人才。同时，清廷又整顿水师各学堂，恢复招生办学。鉴于新办学堂花费多，周期长，清政府首先充分发挥旧有海军学堂的作用，提高办学效益。1897年，福州船政学堂恢复招生，接着天津、江南、广州黄埔等水师学堂亦陆续恢复招生。清末新政开始后，在整顿原有学校的基础上，清政府又先后创建了烟台海军学校、湖北海军学校、直隶北洋医学堂等海军学堂，其中以烟台海军学校最为出名。该校系1903年由叶祖珪、萨镇冰创建，是第一所直属于海军部的学校，改变了地方各自创办军校的传统，成为清末培养海军指挥人员的重要基地之一。清政府在复兴海军的过程中，认识到人才为海军根本，故而不遗余力地选拔培养人才，为晚清乃至民国培养了一大批优秀的海军军官。
    在发展海军学堂的同时，派遣学生留洋的工作也得以恢复。1895年从福州船政学堂选拔了六名学生赴法，是为第四届留学生。到20世纪初年，南京、广东、烟台各校也相继派遣学生出国。海军的留学地点仍然集中于传统海军强国--英国。此外，受当时国内知识界留日风潮渐盛的影响，海军留学的主要方向开始转向日本。据统计，在1903-1911年间，清政府共向日本派遣学习海军的留学生300余人。而这一时期，派往欧洲的海军留学生还不足百人。但由于日本为新兴海军国家，其海军教育尚在发展，留学日本的海军学生大多学无所成，英国仍对中国的海军留学和海军建设影响最大。
    甲午战后数年间，随着北洋海军建制的恢复和南洋海军的补强，中国海军又重新呈现出各地海军分立的局面。这时，一些有识之士在总结甲午战争失败教训的基础上，开始认识到条块分割的做法造成了海军机构重叠、指挥不灵，遂产生了将各地海军合为一军的思想。1905年，根据两江总督周馥和直隶总督袁世凯的建议，清政府命叶祖珪在上海高昌庙成立海军临时办事处（后改为南北洋海军统制部），负责统领南北洋海军。南北洋海军正式合并，改变了海军分区而设，互不统属的局面，初步实现了海军的统一领导和指挥。1908年底宣统帝即位后，摄政王载沣掌握实权，清政府为挽救危亡加快了振兴海军的步伐。因1895年海军衙门裁撤后，海军一直没有独立的领导机关，清政府乃于1909年任命载洵、萨镇冰为筹办海军事务处大臣，成立筹办海军事务处，由度支部筹拨开办费700万两。该处成立后，即将原分属于南北洋水师、广东水师和福建水师的舰只，依据它们的规格和性能，重新进行编组，编为巡洋舰队和长江舰队。1910年底，清廷升筹办海军事务处为海军部。1911年，清政府又根据奏定之海军官阶职任，为海军人员补授军衔，此外又拟定了海军长官旗式及各级军官章服标志。清政府还制定颁发了一些规章制度，如海军官制、海军部各司职责条例等，海军的正规化、近代化建设渐入正轨，这相对于甲午战前的海军建设来说是一个巨大的超越与进步。