朝廷还给了倭仁一项新工作：在总理各国事务衙门行走。“行走”是个闲官，但倭仁素来高倡“夷夏之防”，朝廷令他去专门办理夷务的总理衙门“行走”，显然是有意折辱这位士林领袖。最后，倭仁外出时故意从马上摔下来，以受伤生病为由，拒绝前去总理衙门上班。这场历时半年之久的高层斗争的正面冲突就此结束。
倭仁病隐之后，争论远未结束。倭仁一系的支持者甚多，朝廷接二连三地接到攻击开设算术馆的奏折。有些奏折言辞非常激烈，譬如候补内阁侍读学士钟佩贤，就拿当年的天旱为由头，批判这是朝廷故意为难倭仁所致；候选直隶州知州杨廷熙，则把当年久旱不雨的原因归结为朝廷开设了算术馆，甚至还扩大到对同文馆的批判，说同文馆这个名字是宋代奸臣蔡京陷害忠良的监狱的狱名，建议算术馆并同文馆一并裁撤，如此才能够杜绝祸乱之萌生、端正风俗教化、弥合天变、顺应人心。
杨廷熙的奏折受到了朝廷谕旨的痛斥。谕旨并将病隐的倭仁指责为杨廷熙的幕后主使，要求倭仁病好之后立即到总理衙门上班。当倭仁再度上奏请病假时，朝廷顺势剥夺了其翰林院掌院学士和管理户部事务的职权。
表面上看，这次同文馆风波，朝廷和恭亲王站在一起，用行政手段