而黄遵宪在日本初见警察局之设，任湖南按察使时仿行其事，则是其一生政绩中最值得称道之举。起初，黄对警察制度并未特别看重，《日本杂事诗》初稿即将警视局与消防局以一诗合咏：“花棒横持当佩刀，严妆竟日彻深宵。烛龙报道人家火，楼上悬钟早乱敲。”到定稿时，则变为各自题咏。记警察一诗作：
    时检楼罗日历看，沉沉官屋署街弹。市头白鹭巡环立，最善鸠民是鸟官。
    注云：“警视之职，以备不虞，以检非为。总局以外，分区置署。大凡户数二万以上，设一分署。六十户巡以一人。司扞掫者，持棒巡行，计刻受代，皆有手札，录报于局长。”黄遵宪并上溯中国古史，以考其职守，认为是“兼周官司救、司市、司暴、匡人、撢人、禁杀戮、禁暴氏、野闾氏、修闾氏数官之职。后世惟北魏时设候官，名曰白鹭，略类此官”。但所谓“略类”，仍非一事，故其结论为：“西法之至善者也。”
    参照《日本国志》，述警视厅一节已对此制大加褒扬，称：“余闻欧美诸国，入其疆，皆田野治，道途修，人民和乐，令行政举。初不知其操何术以致此，既乃知为警察吏之功。然则，有国家者，欲治国安人，其必自警察始矣。”经由日本社会和体验，黄遵宪已认定警察系统为西方政体中的精华，乃一切行政制度的基点，并进而产生以之变革中国旧制的念头：“中国有衙役，有讯兵，苟悉行裁撤，易以警察，优给以禄而严限其权，为益当不可胜计也。”（注：《日本国志》卷十四《职官志二》。）而一旦时机成熟，纸上的议论便迅速转化为实际的操作。
    1897年，黄遵宪到湖南。当时，湘地集中了一批锐意变法的先进之士，群策群力，使该省风气大开，成为各项新政的试点，为随后到来的百日维新积累了经验。黄遵宪作为巡抚陈宝箴的副手，也有上佳表现。而最为其倾注心血之事，正是设立保卫局。直到临终前一二年，黄氏对此举念念不忘，致函梁启超时，尚嘱托于其身后，“愿公作一传，详述此意，以告天下”（注：《黄遵宪致梁启超书》，《中国哲学》， 第8辑，第385页。）。梁氏也果然不负死友重托， 所撰《嘉应黄先生墓志铭》，开篇即述甲午战后，湖南力行改革，黄公佐助陈宝箴之情：
    先生时方任湖南盐法道署理按察使，与陈公戮力殚精，朝设而夕施，纲举而目张。而其尤为先生精心的措注者，则曰保卫局。保卫局者，略仿外国警察之制，而凡与民利民瘼相丽，为一方民力所能自举者，悉统焉。择其乡邑之望分任之，而吏董其成。创布之初，民颇疑k3k402.jpg，后乃大欢。先生方欲推布一切，以图久远，而朝局变，党祸起，先生与陈公得罪而去，而天下事益不可为。
    此文作于1909年，虽距黄遵宪去世已有四年，但对其创办保卫局的良苦用心仍不敢说破，而只含混叹息曰：“嗟乎！古有以一人之用舍系一国之兴亡者，观于先生，其信之矣。”（注：《嘉应黄先生墓志铭》，《饮冰室合集·文集》，第15册，（上海）中华书局，1936年。）至于保卫局如何关乎一国之兴亡，则尚待破解。
    实则，就在黄遵宪托付梁启超代达心事的同一信中，黄氏先已道破玄机。这就是以保卫局“寓民权”之意。而其一念发动，则源于出使日本等国的经历：
    自吾随使东西，略窥各国政学之要，以为国之文野，必以民之智愚为程度。苟欲张国力，伸国权，非民族之强，则皮之不存，毛将焉附，国何以自立？苟欲保民生，厚民气，非地方自治，则秦人视越人之肥瘠，漠不相关，民何由而强？早夜以思，府、县会会议，其先务之亟矣。既而又思今之地方官受之于大吏，大吏又受之于政府，其心思耳目，惟高爵权要者之言是听。即开府、县会，即会员皆贤，昌言正论，至于舌敝唇焦，而彼辈充耳如不闻如何？则又爽然自失，以为府、县会亦空言无益。
    经百般推求，黄遵宪最终认定的救国良方，正是他许为“西法之至善者也”的警察制度：
    既而念警察一局，为万政万事根本。诚使官民合力，听民之筹费，许民之襄办，则地方自治之规模，隐寓于其中，而民智从此而开，民权亦从此而伸。
    到湖南后，此志幸而能付诸实行，自然令黄氏大为欣喜。而其说动陈宝箴之词，也只是为避免人去政亡之患，必须“官民合办”，“民食其利，任其责，不依赖于官，局乃可不撤”。而其“于此寓民权”之意，则“终未明言也”。
    倒是志同道合的唐才常与谭嗣同能窥见其心思。唐曾作《论保卫局之益》一文大力鼓吹其事，末云：“今夫泰西、日本之有警察部也，长官主之，与凡议院章程不同。平心而论，此事本官权可了。而中丞、廉访（按：分指陈宝箴与黄遵宪）必处处公之绅民者，盖恐后来官长视为具文，遂参以绅权，立吾湘永远不拔之基。”（注：《论保卫局之益》，《湘报》，第2号，1898年3月8日。）谭嗣同又就此加以发挥， 抉破其底蕴为：
    而保卫局特一切政事之起点，而治地方之大权也。自州、县官不事事，于量有保甲局之设。其治地方之权，反重于州、县官。今之所谓保卫，即昔之所谓保甲，特官权、绅权之异焉耳。