李宗仁走下了政坛，是迫于无奈，也是他态度消极的结果。尽管为了所谓的国家“名器”，他来美之后一直和蒋介石抗争，但在实际上，他早就对国民党丧失了信心，因而也就不在乎权位的得失了。如果说这时他还没有完全抛开政治，那么他所关心的，已经不是自己在国民党“小朝廷”中的地位，而是所谓的“第三势力”。
     早在他刚刚来到美国的时候，就有原桂系将领及不满蒋氏的原国民党军政官员，在香港酝酿组成“第三势力”，向李提出了“辞职组党，方为远图”的建议。而李态度消极，答以“组党尚非其时”，拒绝了这个建议。
     1953年，顾孟余、张发奎等人在日本召集“第三势力”集会，邀请李宗仁前往。李久静思动，本欲前往，但因办理出入境手续烦琐，未能成行。事后，李致信参与这次活动的桂系人士，一面说：“先知先觉分子不避艰难，勇于赴难，呼吁倡导，乃可促成初期革命运动之雏形。”一面又说：“中国人承袭不在其位，不谋其政之数千年传统观念，与言组织，谈何容易！”至于他自己，他则表示：“弟并无丝毫领导任何政团之欲望，目前且无加入任何组织之心情。”转引自申晓云、李静之：《李宗仁的一生》，第383页。
     1954年，当他被蒋介石彻底罢免职务后，曾专程跑到芝加哥，看望遭到同样下场的前任国民党台湾省主席吴国桢。他得到消息，美国曾有一个腹案，将台湾交联合国托管，以吴国桢取蒋代之。在吴氏与前孙科内阁地政部长吴尚鹰的鼓动下，李曾设想发起组织“中国民主政团同盟”。但是没有多久，李即对此失去了兴趣，他终于发现，自己是以一介平民身份流亡海外，要搞政治活动，既无基地，也无群众，是很难有所作为的。从此，他也不再关心什么“第三势力”了。
    没有了职位，也没有了政治活动，李宗仁开始了真正的平民生活。不过，寄居在异国他乡，他的日子过得并不舒心。
     他刚到美国的时候，与郭德洁租住在纽约市郊里弗德尔的一座房子。这是一所带石沿的“都德”式小楼。小楼分成两半，李宗仁夫妇只占住其中的一半，另一半住着一位戏剧演员。也许因为李宗仁是一位特殊人物，所以在小楼外的草坪边上，有一个小警屋。带着枪、棍的警察，在这里昼夜值班，使小楼罩上了一层不同一般的森严气氛，而居住在小楼里的人物，也因此而显得格外神秘。
     在美国，李宗仁的家人并不少，除了郭德洁和养子李志圣和李同住外，长子李幼邻，长媳珍妮和孙女玛茜、雷诗、文迪、琴妮，也都住在纽约。只有李的元配夫人李秀文，因入美手续问题而久久没能到美国来。
     李宗仁几十年来戎马倥偬，宦海沉浮，能够和家人团聚的日子屈指可数。离开了政坛之后，他已年逾花甲，本应与家人团聚，以享天伦之乐。但是，他的家人虽多，而他们到底能在多大程度上影响他的生活，或是给他带来欢乐，却是很难估计的。
     元配李秀文早就和李分居，他们两人之间的关系，只是因为他们有个共同的儿子，才得以维系。1949年大陆解放前夕，李幼邻专程到桂林把母亲接到香港。不久，李宗仁携郭德洁也来到香港。李秀文是在香港医院和丈夫见面的，她得知丈夫要到美国就医，便同意幼邻陪伴父亲同行。幼邻行前，吩咐妻子珍妮随后带着4个女儿和婆婆乘船到美国来。谁知，因幼邻不是美国公民，美国驻香港领事馆竟不给李秀文签证。珍妮带着孩子走后，李秀文孤身留在了香港。后经友人建议，她先迁居古巴，再等待进入美国的机会。1952年秋，她由香港飞往古巴。过境美国换机时，李幼邻带领全家到机场和她见面，却只能在候机室相聚短短的一个小时。之后，李秀文含泪登机，独自飞往哈瓦那。1954年，李幼邻获准为美国公民后，立即申请其母入美定居，但直到1958年4月，李秀文才得到入美签证。5月，她在儿子陪伴下来到了纽约，其后便与儿子一家同住。在李秀文辗转赴美的艰难过程中，李宗仁也许是自有苦衷，也许是爱莫能助，总之他实在是没有给元配夫人什么帮助。
     由于李秀文所处的地位，她到美国后并没有对丈夫的生活产生过重要影响。据她回忆，李宗仁第一次到儿子家看望她，大家都有点欷歔，一时竟说不出兴头话来。还是李秀文先问：“你胃病开刀之后怎样？一餐吃得多少饭？你要保重啊，自家不爱惜，谁替得你呀！”言毕一阵心酸。李见对方难过，强笑说：“你这下子可以多享几天清福了。何必为我担忧，我过去保护你太少，如今连自身也保护不了……我们两人都经受了不少风霜，不过各人命运又有不同，正所谓沧海桑田，几经忧患。如今能够重逢，也算不错了，只是，我是老大徒伤悲啊！”李秀文：《我与李宗仁》，第221-222页。他们说不下去了，便把话题转到了儿子身上。如果说李秀文来到美国后，还能给李宗仁带来什么欢乐，那也唯有每个月李宗仁到儿子家的团聚了。她也劝说丈夫看开些，可是却不能替他排解忧愁。