那次的夜袭，本来是很成功的，他们虽没有摸清营中兵马的数目，但当日毅家军和楚家军联手大败平西王，庆祝宴会是肯定有的，他派出的探子还在营地附近闻到了酒肉的香味，只要他们趁梁军酣睡之时攻进去，这后方大营自然就是囊中之物了。
但万万没想到的是，就在他的人要将冲进辕门时，梁军大营里却传来了如闷雷一般的战鼓声。
密集的鼓点仿佛打在叛军心上，镇得他们心生畏惧，无数鼓手齐声咆哮的声音更如击溃他军心的重锤，让他的人在辕门外就停止了进攻的脚步。
“梁军大营中还有近万人马，我们区区一千人，如何与之为敌？”
就在大家在轰然入耳的战鼓声中犹豫不决时，梁军营中还有近万人马的消息便不知什么时候被传开来。
他手下的叛军一听，立时逃的逃散的散，一千人的军队，不一会儿就只剩下几百人还坚持围在他周围听候调遣。
胡正林知道大势已去，为了不至于让自己成为光杆司令，他毅然下达了撤退的命令，让其余的几百人马躲进栖霞关后面的大山中，他自己则趁乱摸进营地里，想要一窥究竟。