北京同文馆创设于同治元年（1862年），是恭亲王奕訢为了改变清政府对外交涉中“语言不通，文字难辨，一切隔膜，”“易受人欺蒙”（注：《筹办夷务始末》（咸丰朝）卷七一。），奏请清廷同意设立的培养翻译人才的外语学校。起初只设有英文、法文、俄文三馆，聘请外国教习，招收十三四岁的八旗子弟入学，只相当于小学程度。随着洋务企业的兴办，洋务派逐渐认识到培养科学技术人才的重要性。同治五年（1866年）冬，奕訢等奏请在同文馆内增设天文算学馆，奏折称：
    洋人制造机器、火器等件以及行船、行军，无一不自天文、算学中来……若不从根本上用着实工夫，即学习皮毛，仍无裨于实用。臣等公同商酌，现拟添设一馆，招取满、汉举人及恩、拔、岁、副、优贡……赴臣衙门（总理衙门）考试；并准令前项正途出身五品以下满、汉京外各官，年少聪慧，愿入馆学习者……一体与考，由臣等录取后，即延聘西人在馆教习。务期天文、算学均能洞彻根源，期道成于上，即艺成于下，数年以后，必有成效……诚以取进之途一经推广，必有奇技异能之士出乎其中，华人之智巧聪明不在西人以下，举凡推算学、格致之理，制器、尚象之法，拘河摘洛之方，倘能专精务实，尽得其妙，则中国自强之道在此矣。（注：《筹办夷务始末》（同治朝）卷四六。）
    毋庸解释，奏疏对天文、算学馆设立的原由、招生方法及办学的目的都交待得很清楚。但在坚持程朱之学的倭仁看来，有些内容简直是大逆不道。于是站在“卫道”的立场上，连上两封奏折，对奕訢等进行批驳。本来“清总理各国事务衙门之设同文馆，士大夫多守旧，以‘用夷变夏’非议者甚众”（注：徐一士：《倭仁与总署同文馆》，见《一士谭荟》。），这次倭仁以帝师之尊亲自问罪，更起到推波助澜的作用。
    倭仁慷慨陈词：“立国之道，尚礼义不尚权谋；根本之图，在人心不在技艺。今求之一艺之末，而又奉夷人为师，无论夷人诡谲，未必传其精巧，即使教者诚教，学者诚学，所成就者不过术数之士，古今来未闻有恃术数而能起衰振弱者也。”（注：《筹办夷务始末》（同治朝）卷四七。）重弹“本”、“末”老调，坚持“尚礼义”、“正人心”的圣道，认为学习天文、算学是舍本求末，因此竭力加以反对。他斥责奕訢让科甲正途出身的官员学习天文算学是“上亏国体，下失人心”（注：《中国近代史资料丛刊·洋务运动》第二册，第34页。），表示了反对“师事夷人”的态度：“天下之大，不患无才。如以天文、算学必须讲习，博采旁求，必有精其术者，何必夷人，何必师事夷人？”（注：《筹办夷务始末》（同治朝）卷四七。）声称“今复举聪明隽秀，国家所培养而储以有用者，使之奉夷人为师，恐所习未必能精，而读书人已为所惑。”（注：《筹办夷务始末》（同治朝）卷四七。）如果照此下去，将会出现“正气为之不伸，邪氛因而弥炽，数年以后，不尽驱中国之众咸归于夷不止”（注：《筹办夷务始末》（同治朝）卷四七。）。把向外国学习与卖国投降划等号。倭仁此论一出，一批卫道士纷纷效尤。一时“京师口语藉藉”，怪论四起。有一幅对联写道：“鬼计本多端，使小朝廷设同文之馆；军机无远略，诱佳子弟拜异类为师。”有人“粘纸于前门，以俚语笑骂：‘胡闹，胡闹！教人都从了天主教’”；“或作对句：‘未同可言，斯文将丧。’又曰：‘孔门弟子，鬼谷先生。’”（注：徐一士：《倭仁与总署同文馆》，见《一士谭荟》。）对同文馆大肆攻击。大有“黑云压城城欲摧”之势。
    奕訢作为领班军机大臣当然不甘示弱，立即上疏予以反驳。他重申设立天文算学馆的目的，“无非欲图自强”，而不是“空讲孤虚，侈谈术数”。斥责倭仁“以道学鸣高”，故作危言耸听之论，“无事则嗤外国之利器为奇技淫巧，以为不必学；有事则惊外国之利器变怪神奇，以为不能学”，指出“此论出而学士大夫从而和之者必众”。如果听任倭仁的言论，“不特学者从此裹足不前，尤恐中外实力任事不尚空言者亦将为之心灰而气沮”，妨碍自强大计。（注：《筹办夷务始末》（同治朝）卷四八。）奕訢反唇相讥：倭仁反对我等之做法，想必有更高明的“自强”办法。如果倭仁真有“妙策可以制外国而不为外国所制”，我等当追随其后。但如别无良策，“仅以忠信为甲胄、礼义为干橹等词，谓可折冲樽俎，足以制敌之命”，则“实未敢信”（注：《筹办夷务始末》（同治朝）卷四八。）。
    由于奕訢等洋务派的坚持，清廷下旨同意同文馆添设天文算学馆，结束了此次争议。但倭仁“虽迕旨，而一时清议极推服之。”（注：徐一士：《倭仁与总署同文馆》，见《一士谭荟》。）这也说明倭仁的思想观点在当时具有广泛的社会基础。据奕訢等人奏称，由于倭仁等人的反对，使得“京师各省士大夫聚党私议，约法阻拦，甚至以无稽谣言煽惑人心，臣衙门遂无复有投考者。”（注：《筹办夷务始末》（同治朝）卷四八。）通政使于凌宸也说：“天文算学招考正途人员，数月于兹，众论纷争，日甚一日。或一省中并无一、二人愿投考者，或一省中仅有一、二人愿投考者。一有其人，遂为同乡、同列之所不齿。（注：《中国近代史资料丛刊·洋务运动》第二册，第39页。）”倭仁等人阻拦正途投考天文算学馆的目的基本上达到了。
    应该指出的是，倭仁反对“师事夷人”与他痛恨西方列强对中国的侵略的民族感情有关。他说“且夷人，吾仇也。咸丰十年，称兵犯顺，凭陵我畿甸，震惊我宗社，焚毁我园囿，戕害我臣民，以我朝二百年未有之辱。学士大夫无不痛心疾首，饮恨至今，朝廷亦不得已而与之和耳。能一日忘此仇耻哉？”（注：《中国近代史资料丛刊·洋务运动》第二册，第30—31页。）念念不忘国耻，具有明显的爱国思想因素。但反对西方资本主义的侵略和学习西方的先进科学技术并不矛盾。在这个问题上，奕訢等洋务派反映出的思想观点比倭仁等人有见识。倭仁由于恪守传统的“夷夏之辨”的观点，把西方资本主义国家仍然视为历史上的“夷狄”，不承认它们有什么高明之处，而“师夷”的结果只能是“以夷变夏”，后果不堪设想，用他的话来说就是“数年之后，不尽驱中国之众咸归于夷不止。”这反映出倭仁的思想和行状与时代的要求已大相径庭。