任广东万州知州一年，政绩斐然，百姓感恩戴德，为他修建生祠。清兵南下，攻陷金陵，应斗离任。顺治四年(1647)，桂王朱由榔被拥立于广东肇庆，改元永历，初授潘应斗监察御史，未应征，继改授吏部铨选司郎中加太常寺卿。时刘承允挟迁桂王于武冈，骄蹇跋扈，擅权乱政。应斗度大势已去，辞谢归乡，隐居威溪冲，躬耕自给，清苦度日，屡遭劫祸，幸以身免。清顺治年间，朝廷曾先后三次征他出山作官。他名节凛然，拒不从命。
潘应斗性格刚介，好读书，古文词类欧、王，高清有法；诗格高浑，含蓄而意境深远。著有《允孚堂文集》、《允孚堂诗集》、《白石山史评》、《大来堂刺艺》、《武冈图经》、《云山别志》等书。清康熙二年(1663)总篡《武冈州志》，协篡《宝庆府志》。
时值李自成攻入京都(1644年)，未及录用，怆惶南奔，怆惶南奔，展转至金陵，投福王朱由崧，任广东万州知州一年，政绩斐然，百姓感恩戴德，为他修建生祠。
