吴入伍后被编入宾夕法尼亚民兵第50步兵团第一连。最初宾州民兵大多沿萨斯奎哈纳河布防，以防南军进袭。在驻防地吴与士兵们一起轮流放哨、做饭，并进行射击训练。7月2日吴随连返回兰镇，但不久又调往哈里斯堡，在那里乘火车前往钱伯斯堡，稍事驻扎，又开往马里兰州的威廉斯港，为守卫波托马克河上第五号水闸执行警戒任务。
    由于北军在7月1日著名的葛提斯堡一役中击溃南军，迫使李将军撤回波托马克河，宾州遭南军侵袭的警报已经解除，故吴所在的连队并未经历过任何战役。不过当兵的经历仍给吴留下了深刻的印象。据吴回忆，军中除供给食物和军服外，还发给每位士兵13美元津贴。士兵配给的食物有新鲜牛肉、咸猪肉、豆类、土豆和面包。吴在8月15 日因服役期满而退役，前后算起来一共在军中服役48天，成为美国内战中唯一的一名华裔士兵。
    五、重返故国
    内战结束前，吴虹玉已决心返华。1864年2月， 吴依依惜别兰镇前往纽约，搭乘美国奥利芬特公司为上海与汉口间航运而造的"九江号"轮船出海。
    5月17日"九江号"抵达上海，吴终于回到阔别已久的故乡。 回沪后的当天，吴便去拜访当时美国圣公会在上海唯一的两名牧师汤蔼礼和黄光彩及老同学颜永京，并经邀在颜家暂住。黄光彩和颜永京均是圣公会在华传教史上的传奇人物。黄光彩是美国圣公会在华第一位受洗者和华籍牧师，曾长期担任该会在华最老的教堂--上海虹口救主堂的牧师；颜永京1861年毕业于美国俄亥俄州的建阳学院，是最早在美获得硕士学位的中国人，曾参与创建美国圣公会的武昌文华书院和上海圣约翰书院。后来黄光彩、颜永京、吴虹玉三人常被并称为圣公会的三位华人先驱。
    在美国九年的生活已在吴身上留下了明显的烙印，他不仅西装革履，对本国语言也颇生疏，因此当美籍牧师汤蔼礼邀他在教会办事时，吴不得不要求推迟就职以便重习母语。在此后的八个月中，吴"就像一个外国人一样学讲道地的本地话"。数年后吴大概仍洋气未脱，以致文惠廉主教的后任韦廉臣主教在1866年4月23 日给他的信中对他作如此告诫："更有一事，我敢提出者。即君当多用功国文，尤须注重作文，则可助君讲道。更望君改衣中服，则易使人亲近也。"
    吴虹玉参与教务，最初是在北唐家弄的圣公会老闸分堂，除在该处担任讲道并管理男、女小学各一所外，他还跟随汤蔼礼出外传道。1869年，韦主教派吴为汤蔼礼的正式助士。1873年吴升任会吏，1880年5 月25日又升任会长。吴曾进修过神学，但他并未致力于神学研究，"勤于事"则是他漫长教牧生涯的真实写照。
    六、创办医院
    1866年秋，美国圣公会开始在上海创办医院。当时美国费城希而夫人赠款一百美元给汤蔼礼，嘱其用于赈济穷人。汤氏与吴虹玉商议，决定用此款租赁虹口百老汇路和文监师路转角处两间小屋，开设医局。当时美国圣公会在沪尚无传教医师，幸有美国浸礼会传教医师玛高温义务前来诊病开药方，由吴照方合药。未及半年，医局便门庭若市，来就诊者每周不下数百人。于是教会复筹款扩建病房11间，共设24张病床。扩建后医局取名同仁，玛氏为主任，吴任助理。
    1877年美国圣公会中国传道区第三任主教施约瑟上任后，欲出租教会土地，遂令拆去同仁医局房屋，逐年延骋的西籍教士纷纷离去。教会的医院事工，几近放弃。但吴虹玉力主维持，此后一年内医局在一简易租屋内开诊，由吴独任疗病、给药、帐房、经营等事。稍后，教会才费银2,700元购得西华德路唐氏住宅作为医局的新址。1880 年同仁医院正式开张，由文主教长子文恒理医生主持。从1896年起，同仁医院成了著名的圣约翰大学医学院的附属医院。同仁医院是近代上海最早的三所医院之一，其他二所医院为1844年创办的仁济医院和1884年创办的西门妇孺医院（现为上海市妇产科医院）。
    在同仁医院的募捐活动中，吴虹玉的作用极为显著。通过吴多年的努力，1880年初在沪粤商李秋萍捐银万余元建成同仁医院新楼。李原打算捐资重修静安寺，某天大雪，吴为收取李对同仁医院所允诺的五元捐款，从江湾徒步至城中李家，并力劝李将此款移助医院，造福社会，李受其感动，改变初衷。吴虹玉前后与同仁医院保持了三十多年的关系，其中前八年完全办理院务，后来则为兼职，因吴已在教会担任他职。
    同仁医院八年的事工对吴虹玉的后半生有很大影响。他在此八年中掌握了基本的医疗技术，在此后的传教生涯中，吴还逐渐发展了其医药传教的理论。吴认为，中国是基督教传教最困难的地区，因为传统的儒、释、道三教在中国已根深蒂固。中国人过于实际，无论是统治阶级还是普通百姓，平时并不信奉什么宗教，但一旦有病有灾，他们可能什么教都会信，因此说教会的医疗事工"极切合国人务实的心理"。在吴看来，中国的基督教徒，十有八九是所谓"病床头的奉教者"。在每一个新传教点，治病救人均是教会"打动人心的最有效的手段"，而一个好的教会医生在中国可以创造奇迹。吴甚至断言："宣扬基督福音如果没有医疗事工的辅助，就不会对中国人产生什么影响。"