次日，赵构下旨升杭州为临安府，授意临安官员注意城中行宫府衙及道路桥梁的修缮建设。这个决定没让婴茀感到惊奇，她默默听着身边宫人兴致勃勃地谈论何时回临安的问题，一抹樱花的粉色自心底飘过，不禁有些怅然。她心知儿时生长之地汴京已离自己很遥远了，也许不再有机会回去，而杭州——这个新名中含有“安”字的城市，应该会是她与赵构日后安居的地方。
安全感是赵构而今最缺乏也最渴望的东西，建炎三年十月某夜发生的一桩小事很清楚地证明了这点。那时他从建康移驾回临安，中途暂宿于钱塘江边的寺院归德院，夜深人静之时门外忽有震天巨响滚滚而来，如奔雷，如天崩，把赵构生生自梦中惊醒。细听之下又觉得其声似万面鼓锣齐鸣，铿锵激越，隐有金戈碰撞之声，仿佛千军万马正在激战。
赵构立即推醒身边的婴茀，迅速起身，边披铠甲边问外面的禁兵：“是不是金人袭来了？”
禁兵一愣，忙跑出去看，须臾跑回来禀道：“未曾发现金兵踪影。”
“那这声音……”
“是钱塘江潮起之声。”
自古以来，钱塘江潮势最盛，涨潮时犹如山崩地裂，一波波卷立起数丈水墙，倾涛泻浪，喷珠溅玉，势如万马奔腾，其声自然也响亮非常，能传数里。赵构这才反应过来，释然坐下，回想自己刚才的行为亦有些惭愧，看看婴茀，自嘲一笑：“是不是觉得朕一惊一乍，有失风度？”
必定是想
起了扬州那晚之事，他刚才惶恐得像只受惊的小动物。但面对他的提问，婴茀却摇摇头，俯身握住他冰凉的手，说：“乱世之中，官家随时保持警醒是必要的。”随后亦淡淡笑了：“刚才听到潮声，臣妾也很害怕。”
那时金帅完颜宗弼听说赵构要回临安，便大兴水师，准备由海道来袭。赵构在临安只留居了七日，见金军来势汹汹，愈逼愈紧，便复渡钱塘江至越州。此前赵构已经把隆祐太后及潘贤妃、张婕妤送至较为安全的虔州，身边照例只留婴茀一人。
金军一路攻城拔寨、势如破竹，不久后便攻破了建康，赵构带着婴茀频频移驾躲避，短短数月内差不多已跑遍江浙各城。建康城破后，江淮屏蔽已失，临安与越州等地都不再安全，赵构一路退至临海的明州。宰相吕颐浩劝他在迫不得已之时不妨出海暂避，道：“目前之计，唯有航海以避寇氛。敌善乘马，不惯乘舟，等敌兵退去，再还跸两浙。彼入我出，彼出我入，这本来就是兵家的奇计。”
随后的形势也逼得赵构无法另想良策。完颜宗弼长