驰南进，先趋广德，再抵临安。临安守臣康允之匆忙逃走，钱塘县令朱跸自尽殉国，宗弼再遣大将阿里蒲卢浑率精兵渡江追击赵构，誓要将他活捉回金。赵构因此接纳了吕颐浩的建议，乘楼船入海暂避金兵。
自此一连数日舟行海中，途经定海、昌国等县而不靠岸停留，赵构终日郁郁难展笑颜。某日御舟如往日般在浩淼烟波中破浪前行，赵构在舟中阅书，婴茀随侍在侧，忽听外面甲板上“啪”的一声响，似有重物落下。两人当即出舱去看，但见原来是一条巨大的白鱼自海里跃出，竟跃到了舟上，此刻正在甲板上不住腾跳，兀自带着水珠的鳞片在阳光下闪着晶莹的光。
宫人们啧啧称奇，赵构默然漫看，一言不发，而婴茀则微笑着朝赵构盈盈一福，说：“臣妾恭喜官家，此乃大吉之兆。”
赵构问：“何以见得？”
婴茀道：“昔日周武王渡海途中也曾见白鱼献瑞，后来果然得以灭纣兴周。官家如今亦得此祥瑞之兆，可见天下不久后将庆升平。”
这话终于引来赵构舒眉一笑，对她说：“婴茀，你真是很有心。朕该怎样谢你呢？”
婴茀含笑答：“婴茀只要能见官家常露笑颜，便会觉得很开心。”
赵构牵她的手迈步回舱，亲笔写下诏书：进和义郡夫人吴氏为才人。
在舟上待到岁末，眼见天气一天冷似一天，北风凛冽，飞雪似杨花，水面上的御舟不足以御寒，居于其中寒冷异常，赵构遂准备登陆度岁，不料又接到接到越州失陷的消息，于是赵构又折回舱中，望着婴茀叹道：“看来我们只能在水面上过年了。”
“这也未必不好。”婴茀安慰他说，“今年官家在舟中过新年，就如渔翁一般。听说金国宗室将帅间彼此也在明争暗斗，或许这预示着贼虏鹬蚌相争，而官家将坐收渔人之利。”
“你很会说话。”赵构勉强一笑，“事到如今，真觉得这皇帝不当也罢，莫如真做渔翁，倒落得无忧无虑、逍遥自在。”
那年的元旦他们便在海上舟中度过。金兵追击不果，在攻下的城镇烧杀抢掠后亦不设重兵留守，掌握军权的知枢密院事张浚重用韩世忠、岳飞等将，稳步反击，逐渐收回了大部分江淮失地，赵构才得以登陆回去。