1922年，第一次直奉战争爆发。踌躇满志的张作霖，被吴佩孚打得一败涂地，落荒而逃。当张作霖坐火车经京奉线退回关外的途中，突然遇到一阵猛烈的炮火轰炸。
    张作霖被打得措手不及。他得知这是游弋在渤海湾的直系海军部队所为后，骂了一句：“妈拉巴子，原来海军还是有用的。”
    
    原来，早在1920年，东北就有了一支小规模的海军部队，即吉黑江防舰队。这支舰队规模小，战斗力弱，经费无人管，穷得揭不开锅，只好找到张作霖。张作霖也没看上眼，觉得真要打进关内，还是陆军管用，就只是象征性地给了一点日常维持费用。
    张作霖回到奉天，立即收编了吉黑江防舰队，在此基础上筹备成立了海军部队。负责人为沈鸿烈。众所周知，打造一支像样的海军部队，可不是像陆军那样，十几条人来七八条枪就够了，而是要从国外购买大型舰船。这是需要巨额资金支撑。为此，张作霖告诉沈鸿烈：“买船的钱，奉天财政厅能给多少，算多少。不够，我拿出私人的钱补上。 ”
    当然，这支海军部队就是张作霖的私人武装，他自己掏腰包，也算是合情合理。
    有钱好办事，沈鸿烈就从日本买来两艘商船，经过改造，装上东北兵工厂自造的枪炮，取名“镇海”和“威海”。后来，又分别从俄国和日本购买一艘破冰船和一艘鱼雷舰，取名“定海”和“飞鹏”。这样，东北海军就有了4艘舰船，编为江防舰队和海防舰队。
    
    很快张作霖就尝到了组建海军部队的甜头。1924年，第二次直奉大战爆发。战争进行之际，沈鸿烈率领舰队巡防于营口、葫芦岛一线，还在关键的几处海面上大批布雷，使得直系渤海舰队基本派不上用场。
    第二次直奉大战以张作霖打败吴佩孚告终。战争结束后，奉系大将张宗昌占领了渤海舰队的驻地青岛，将渤海舰队收编。渤海舰队实力非常强大，拥有巡洋舰“海圻”、“海琛”、“肇和”，驱逐舰“同安”号等众多大型舰艇，现在，这些舰船都成了张作霖的囊中之物。
    张作霖成立东北联合舰队，自任总司令，下辖江防、海防、渤海三舰队，拥有大小军舰26艘，约32200余吨，是当时中国最强大的海军部队。
    
    随后，东北海军又打败了闽系海军，其中1927年一次海战中，东北海军“镇海”号动用了舰载飞机，对海州湾（现连云港）和上海江南造船厂实施轰炸。虽然轰炸效果不好，却创造了一个历史：这是中国历史上第一次舰载飞机作战，也是上海第一次遭到空袭。
    东北海军在中国国内横冲直撞，无人能挡。可一旦遇到西方列强，就露出外强中干的本质。
    1929年，中东路事件爆发后，东北军与苏联军队进行作战。期间，东北海军与苏军黑龙江舰队相遇，由于实力相差太大，损失惨重。
    此后，东北海军实力大为削弱，虽然张学良重整旗鼓，也不再有昔日辉煌。1931年“九一八”事变后，东北海军江防舰队落入日寇手中，其余舰队奋起抵抗。后南下投靠闽系的广东舰队。
    
    1937年，全面抗战爆发后，东北海军舰船基本自沉于青岛港内和长江口岸，用来阻塞航道，防止日本舰船沿内河入侵内陆，上演了极为悲壮的一幕。