首先，他们面临佃仆的威胁。江南土地高度集中，“有田者什一，为人佃作者什九。”这些佃作者既包括原无田产者，也包括“投靠”而来的奴仆。豪绅徐阶、董份、董其昌家，投靠家奴皆达上千。方其乡居之时，乡绅与佃仆的关系相对密切，这些佃仆不仅为他们耕作土地，而且充当他们的“自卫力量”。然而，随着城居化的推进，主仆关系不仅因城乡地域差距而日益松驰，而且因地租日重而不断恶化（注：江南不仅以赋重为时人瞩目，也以租重为人诟病，史籍多有记载。如《日知录》卷十《苏松二府田赋之重》云：江南“岁仅秋禾一熟，一亩之收不能至三石，少者不过一石有余，而私租之重者至一石二三斗，少亦八九斗。佃人竭一岁之力，粪壅工作，一亩之费可一缗，而收成之日，所得不过数斗，至有今日完租而明日乞贷者。”），主奴关系因此由“相资相养”一变而为“相猜相仇”（注：细田浩二：《明末清初江南にぉける江南地主奴仆关系》，载《东洋学报》50卷3号，1967年。）， 佃户抗租事件时有发生，“差役不敢至其门”（注：《古今图书集成·方舆汇编·职方典》卷六七六《苏州府部·苏州府风俗考》。）。如万历年间，无锡县“佃田者不输租”（注：万历《无锡县志》卷四《风俗》。）。天启四年，吴江县佃农“不辨荒熟，概不完租。”崇祯十一年，吴县横金各乡农民结党抗租，“田主有乡居者，征租于佃户，各佃聚众焚其居，抢掠其资。”他们在唐左耕等人率领下，“纠合沿湖三十余村，刑牲誓神，村推一长，籍罗姓名，约佃农勿得输租业主，业主有征索，必沉其舟，毙其人，愚民煽惑，挥戈执械，鸣金伐鼓，聚及千余，焚庐劫资。”（注：叶绍衷：《启祯记闻录》卷二。）尤其在明末，江南普遍出面了抗租奴变，嘉定、金坛等地“群奴揭竿倡乱，邑绅尽受其殃……捕其主拷掠索身契，众千万人，邑令不能剿。”（注：转引自谢国祯《明末清初的学风》，人民出版社1982年版，第251页。）
    其次，他们面临游民、饥民的威胁。如前所述，明朝中期以后，江南城镇多有游民集聚。嘉靖三十八年，苏州“城中游民结聚成群，随路抢夺。”（注：《古今图书集成》职方典卷六八七《苏州府部》。）徐阶家居时，“时刁民皆囚服破帽，率以五六十为群，沿街攘臂，叫喊呼号，而元辅三第前后左右，日不下数千人。”（注：范濂：《云间据目抄》卷二《记风俗》。）万历十六年，上海大饥，“桀黠者煽众环富室告贷，寻间入室中，尽夺其所有，报复杀伤甚众。”（注：同治《上海县志》卷三十。）崇祯十三年，吴江县米价腾涌，“乱民朱和尚等，率饥民百余人，强巨室出粜，不应则碎其家，名曰‘打米’。各村镇皆然”，一邑骚动。（注：乾隆《吴江县志》卷四十。）同年，“苏郡蝗灾，斗米千钱。城中申少师、范长白、管进士玉音家，俱被饥民抢劫一空。”（注：《丹午笔记》八一《蝗灾饥荒》。）
    再次，他们面临乡民的抗争。晚明乡绅横暴乡里，把持地方政事，劣迹斑斑，史书多有记载。如钱谦益、瞿式耜居乡，“不畏明论，不畏清议，吸人膏血，啖国正供，把持朝政，浊乱官评”，为人疏参。（注：《虞阳说苑》甲集《张汉儒疏稿》。）这激化了绅民矛盾，以致乡绅成为众矢之的。如江阴豪绅钱海山，财货山积，嘉靖四十五年，“数日间，悉为乡里豪强辈群起而分拉之，若许庄，若马路庄，约其屋之数，俱数百间，高墙深池，规模伟丽，仅两日，抢拆一空，即成白地。”（注：李诩：《戒庵老人漫笔》卷四《海山覆败》。）乡绅董其昌父子，肆行不法，三县军民共愤，齐集董宅，“且拆且火，数百余间，画栋雕梁，朱栏曲槛，园亭台榭，密室幽房，尽付之一焰中矣”（注：佚名：《民抄董宦事实》。）。一时“三吴世家大族，人人自危，恐东南之变，将在旦夕”（注：佚名：《民抄董宦事实》。）。
    面对上述情形，当时江南社会治安体制无能为力。一方面由于人口流移、缺乏编审，作为基层社会主要治安工具的里甲组织已名存实亡；另一方面，当时江南军备废弛已极。以南京为例，作为南都禁卫军的“营兵”，初时10万有奇，至万历时，仅存27,000有奇。嗣虽添设陆兵营、水兵营、标营，但形同虚设，“大都旧营徒手寄操居什之二，老稚疲癃居什之九。新营近亦强弱居半，概不足恃。若江北浦口营兵二千名，池河营兵三千名，皆名存实亡。”（注：顾启元：《客座赘语》卷二《营兵》。）以市区治安力量而言，南京起初并“无巡逻马步军”，后来虽然奏设，但日久废弛，一遇大盗，望风奔逃，以至“见任士大夫有被其害者”（注：顾启元：《客座赘语》卷二《营兵》。）。南京的治安状况尚且如此，其他城镇可想而知。至于地方警备力量的卫所军士，也浸不如前，各卫军在武者，“赢饥疲色可怜，与老稚不胜衣甲者，居其大半。”（注：顾启元：《客座赘语》卷二《营兵》。）“虽一诸生可役使之”，不足以任战守。（注：《明史》卷八九《兵二》。）因此，海瑞抚吴时发出“江南兵备废弛为甚”之叹（注：海瑞：《备忘集》卷五《督抚条约》。）。
    如是，绅士地主既不能依靠政府力量来维护自己的利益，为了对付“顽佃刁民”，便只好自觅“打手”，看家护院了。如民抄董宦时，“董宦见万民汹汹，祸在旦夕，纠郡中打行恶少捍卫。”（注：佚名：《民抄董宦事实》。）史载：一日，有刁民六七人入乡绅徐阶宅，徐府“拥健儿百余，取泥粪，自头至脚，且涂且灌，须发以内，无不沾足者。遂逐之出，有诈跌仆地死者，健儿争溺其口。”（注：范濂：《云间据目抄》卷二《记风俗》。）这些“健儿”正是徐府雇佣的打手。这也是打行得以存在的重要因素。
    5、募兵制的兴起。明初，朝廷实行兵农合一的卫所制度， “边腹内外，卫所棋置，以军隶卫，以屯养军。”卫卒平时负犁耕作，战时荷枪作战，亦兵亦农。其后因死亡逃匿等因，“什伍日亏”（注：顾启元：《客座赘语》卷二《勾军可罢》。），“东南沿海卫所军政不举，武备尽弛。”（注：《戚少保年谱耆编》卷之一。）嘉靖三十九年，戚继光在清查沿海卫所时言：海门卫旗军左等四卫，原设官军六千五百二十八员，现存官军止一千一百八十三员；中所百户伍内，原额一百一十三户，今存者止老军二户。（注：《戚少保年谱耆编》卷之二。）由是，明政府转而推行募兵制，“军外募民为兵，屯外赋民出饷。”嘉靖以后，东南倭乱兵变相乘，江南出示募兵，以佐军旅缓急。因土著之谨厚、富实之家都不愿意应募，乃只好“招一切无赖，使纨绔将之以对敌。”（注：叶权：《贤博编》。）一时光棍游食之徒充塞行伍间，如巡检司弓兵“皆系光棍包当”（注：《明朝经世文编》卷二六五，胡宗宪《题为献愚忠以裨国计疏》。），南京振武营卒“多无赖子”（注：《明史》卷八九《兵一》。）。平定倭乱以后，江南仍有雇佣恶少入伍之事。如倭乱时，南京招募浙兵备倭。倭事息，此兵遂不可撤。“其人多趁悍，间有事故死亡，若归故土者，雇倩本地恶少年冒充之，而享其糈。地方毫无所益， 而岁费钱谷几十万……尤可恨者，群聚剽市人之物， 或公然为劫盗，奸乱无所不至。”（注：顾启元：《客座赘语》卷一《浙兵》。）这助长了打行势力的发展。《明世宗实录》云：“苏州自海寇兴，招集武勇，诸市井恶少，或奋腕称雄杰，群聚数十人，号为打行。”（注：《明世宗实录》卷四七八，嘉靖三十八年十一月丁丑。）《云间据目抄》云：恶少打行，于倭乱兵变时，“乘机猖獗，必有不可胜道者。”（注：范濂：《云间据目抄》卷二《记风俗》。）《明通鉴》亦云：“苏州自倭寇兴，招集武勇以为义兵，市中恶少起应之，后遂群聚剽劫，有打行扎火诸囤名，武断城乡间。”（注：夏燮：《明通鉴》卷六二。）