而且就算不考虑孝道礼法的因素，反对出兵的呼声也相当地高，听起来也都蛮有道理。秦桧一党自不必说，就连张浚也强烈反对出兵，他退朝后递上的密折令赵昚彻底打消了出兵的念头，密折里说：现在北伐的主力是赵军，如果现在南宋出兵救援，最后就算北伐胜利了，战利品都是赵国的，而威望全是赵抗的，无论对南宋，还是对他赵昚都很是吃亏啊！张浚建议，最好等赵金双方打得两败俱伤，赵军被迫撤退后，南宋再出兵捡便宜，赵昚深以为然。
赵抗在听到赵昚陈述了一大通的理由之后，他心里明白，赵昚已经不可能出兵支援了。于是，赵抗便动了让北伐军撤回国内的念头。反正此次北伐的战果还算不错，光强制迁到国内的人口就有几十万，虽然士卒战死数万，钱粮消耗也不小，但总体来说至少不亏。
但虞允文却立即回信给赵抗表示反对，他在信中陈述了撤军的诸多不利，其中最重要的一条就是：赵国必须在大陆上获得一个立脚点，以建立汉人自己的骑兵，这次北伐中所吃的苦头进一步坚定了虞允文的这个想法。赵抗和他原先指望借南宋的部分地盘来养马，但目前赵宋之间貌合神离，已经不能抱太大期望了。