知几认为，作为一名学者，必须“博闻旧事，多识其物”，如果“不窥别录，不讨异书，专治周、孔之章句，直守迁、固之纪传”（《史通·杂述》），那断然达不到博闻多识的目的。这就是说，广采博闻，要扩大史料搜求的范围，不但要搜求历代编年、纪传体史书的资料，也要注意搜集偏记、小录等异书的资料。他认为，“偏记小说，自成一家”，在中国历史上，它“能与正史参行”，也有源远流长的历史。大体言之，这些异说“皆记即日当时之事，求诸国史，最为实录”。比如地理之书，因为各地区“物产殊宜，风化异俗，如各志其本国，足以明此一方。”（同上）这说明偏记小录之书一有史料真实的长处，二可补正史之不足。虽然其间“得失纷糅，善恶相兼”，“言皆琐碎，事必丛残”，难以和《五传》、《三史》比美，还是很有价值的。知几在《杂述》篇，曾经分析过杂史十流的各自价值。
    偏记、小录，史料价值较高，“最为实录”。因为偏记乃当世人“权记当时，不终一代”之当代小史。如陆贾的《楚汉春秋》，记楚汉之际的历史，虽非全史，但记近事，作者耳闻目睹，有真情实感，故有较高史料价值，为司马迁《史记》所资取。小录是作者“独举所知，编为短部”的人物传。如戴逵《竹林名士》、王粲《汉末英雄》，对了解这些人物的行事有重大帮助，而且丰富了这段历史的史实。
    逸事“皆前史所遗，后人所记，求诸异说，为益实多”，它作为拾遗之书，可补史遗，用资参考，其史料价值，亦不可低估。至于琐言，所载乃“街谈巷议”，“小说卮言”，多载当时辩对，流俗嘲谑，如刘义庆《世说》裴荣期《语林》等，这些书亦可提供史料，不止如刘知几所谈“俾夫枢机者籍为舌端，谈话者将为口实。”还有郡书，乃乡人学者编而记之，往往“矜其乡贤，美其邦族”，有溢美不实之处。其中如常璩之《华阳国志》等详审、该博之作，也能“传诸不朽，见美来裔。”又有以显扬父母、夸其氏族、炫耀高门的家史之作，“事惟三族，言止一门”，亦有史料价值。别传多“博采前史，聚而成书”，新言、别说，盖不过十一，其书系录“贤士贞女”之“百行殊途”的善迹，如刘向《列女传》等。杂记乃搜采怪异之书，如干宝《搜神》，史料价值不大。至于地理书、都邑簿者，实有很高的史料价值。地理书多志一方“物产殊宜，风化异俗”，但良莠不齐，其中有“言皆雅正，事无偏党”者，亦有“竞美其居，谈过其实”者，也有以委巷传闻为故实者。都邑簿主记“帝王桑梓”，“经始之制”，如潘岳《关中》、陆机《洛阳》等，对都邑之宫阙、陵庙、街廛、郭邑的营造，能“辨其规模，明其制度”。以上均见《杂述》篇，可知他对史料的搜求是至为广泛的。
    但是博采并不是“务多为美，聚博为功”，必须“别加研核”，以“练其得失，明其真伪”。（《采撰》）因为史料不但要丰富，而且要真实。而真实，是更为要紧的问题。无论是正史，还是杂品，都有个史料的真伪问题，要求史家能鉴别真伪，慎重去取。刘知几说：“且夫子有云：‘多闻，择其善者而从之’，‘知之次也’。苟如是，则书有非圣，言多不经，学者博闻，盖在择之而已。”（《杂述》）择善的基本前提是区分史料的虚实真伪。
    在《暗惑》篇末，他对史书的材料选择有一段总结性的论述：“盖精五经者，讨群儒之别义；练三史者，征诸子之异闻。加以探赜索隐，然后辨其纰缪。如向之诸史所载则不然，何者？其叙事也，唯记一途，直论一理，而矛盾自显，表里相乖。非复抵牾，直成狂惑者尔！寻兹失所起，良由作者情多忽略，识惟愚滞。或采彼流言，不加铨择；或传诸缪悦，即从编次。用使真伪混淆，是非参错。……夫书彼竹帛，事非容易，凡为国史，可不慎诸！”在这里，他讲清楚了严肃认真对待史料的重要性。
    知几在《史通》许多篇中地方都指出了五经、三史等史书的史料错误。比如他说：“五经立言，千载犹仰，而求其前后，理甚相乖。何者？称周之盛也，则云三分有二，商纣为独夫；语殷之败也，又云纣有臣亿万人，其亡流血漂杵。斯则是非无准，向背不同者焉。又案武王为《泰誓》，数纣过失，亦犹近代之有吕相为晋绝秦，陈琳为袁檄魏，欲加之罪，能无辞乎？而后来诸子，承其伪说，竞列纣罪，有信五经。”（《疑古》）在《疑古》篇里，他对《尚书》提出了十条怀疑，在《惑经》篇里，列举《春秋》十二未谕，五虚美，都是从对材料不实的角度提出来的。他指出，孔子修《春秋》，“多为贤者讳”，“国家事无大小，苟涉嫌疑，动称耻讳，厚诬来世，奚独多乎！”至于对《史》、《汉》等正史以及杂史的史料批评实在更多了。比如范晔的《后汉书》，选材猥杂，讹言难信。有所谓“王乔凫履”，盖出于《风俗通》；“左慈羊鸣”，原传于《抱朴子》，而范氏“朱紫不别”，以荒诞作真实，爰入正史。再如沈约、魏收，“沈氏著书，好诬先代，于晋则故造奇说，在宋则多出谤言”，“魏收党附北朝，尤苦南国，承其诡妄，重以加诸。”（《采撰》）至唐初官修晋史，也是广采杂书，不加考辨。若《语林》、《世说》、《幽明录》、《搜神记》等，所载或恢谐小辩，或神鬼怪物，多采以为书。其病在“务多为美，聚博为功。”
    刘知几强调史料的辨伪工作，他说：“郡国之记，谱谍之书，务欲矜其州里，夸其氏族。读之者安可不练其得失，明其真伪者乎？至如江东‘五俊’，始自《会稽典录》，颖川‘八龙’，出于《荀氏家传》，而修晋、汉史者，皆征彼虚誉，定为实录。苟不别加研核，何以详其是非？”（《采撰》）更有采街谈巷议、道听途说之词，如“曾参杀人”、“不疑盗嫂”者流，“皆得之于行路，传之于众口”，言之者彼此有殊，书之者是非无定。“而后来穿凿，喜出异同，不凭国史，别讯流俗。”如此传闻失实之记录甚为乖滥。知几由之得出结论：“故作者恶道听途说之违理，街谈巷议之损失。……异辞疑事，学者宜善思之。”（《采撰》）这就是说，对待史料必须严加鉴别，比较异同慎思熟考，以决定去取。