两万不到又各处东拼西凑而来的兵力，完全无法和那些不要命的南越蛮子为敌。
于是曹浪直接下令大军退兵，全军退守南湖郡城，将被大火笼罩的聚霞关放弃。
等到大火熄灭，南越大军冲关之时才发现红巾军已经退走。
得知红巾军退回南湖城，南越大立刻一刻起兵北上，想要乘胜追击。
他们此次北上的目的，就是要将渠江以南的碣州四郡夺下。
然后再利用渠江这一条天险之地，割据一方。
南方四郡，所以说加起来都比不上碣州城和樊阳两郡。
但若是可以据为己有，再给一段时间发展，这四郡之地所能带来的价值，甚至比南越国现在的领地还要富饶。
虽说放弃了巨霞关，但曹浪并不准备放弃剩下的两郡。
因为曹浪也知道，一旦放弃这两郡，想要重新夺回来可就难了。
得知南越大军一直在后方追击，曹浪马上安排辛弃疾在要道设伏。
为了吸引他们上当，一路上还故意留下了许多辎重，让他们认为红巾军的退走已经是狼狈逃窜，大大减少了他们的警戒。
也正是因为这样，负责追击的南越国大军一路疾行，先头部队近一万人。
等他们路过辛弃疾设伏的山谷，突然乱石坠地，万箭齐发。
打得他们伤亡惨重，不得不退了回去。
也给红巾军退守南湖城争取了大量的时间。