当刘牢之听儿子说起刘裕一人追砍几千人，撵的嗷嗷跑时，也大为惊奇，立刻对刘裕刮目相看。
请奏朝廷，封刘裕为建武将军。
孙恩当然也听到了这个事情，北府军一个参军就这么勇猛，这北府得多厉害啊，心里有些打鼓，于是改了口，也不想去建康了，对部下道：“建康咱们不去也行，割据浙江以东，做个越王勾践也挺好的，是吧？”
但是那有那么好的事情，刘牢之之子刘敬宣和刘裕率领骑兵，与孙恩一顿大战，孙恩不敌，屡战屡败，刘裕乘胜追击，收复山阴即今浙江绍兴，之后还是穷追猛打，斩杀孙恩许多军士，一直打到了浙江。
刘牢之随后亲率大军渡过浙江，孙恩听说以后又改口道：“胜败乃兵家常事，三十六计，走为上计，我并不觉得逃走就是羞耻。”心里彻底没底了。
于是，孙恩驱赶裹胁男女百姓二十多万人向东逃走，他知道北府军多为北方流民所建，生活困苦，军纪不严，肯定贪图财宝，一路上扔掉许多财宝金银，美女幼童，北府军果然中计，官军在路上，跟寻宝一样，这里找到一堆金银，那里发现几名美女，竞相争抢起来，刘裕一看，这怎么能行，回报刘牢之整顿军纪，刘牢之一笑了之，心里话，大家跟着我不就是图这个嘛？管他们干啥，再说了，孙恩也不能赶尽杀绝，留着他，朝廷还能对我好点，于是视而不见。
孙恩得以逃脱，再次逃往海岛。
与此同时，刘牢之的另一员大将高素，在山阴击败孙恩的党羽，斩杀孙恩委任几名太守。
至此，孙恩的第一波进攻被打退，缩回了老巢。
谢琰和刘牢之居功至伟，得到朝廷的嘉奖。刘裕得以镇守下邳。
可是北府军的军纪涣散始终是个问题，孙恩作乱时，老百姓翘首以盼，然而，赶走孙恩后，刘牢之却放纵士兵大肆抢掠，士民对他大失所望。
东晋朝廷得知孙恩退归海岛，担心卷土重来，以谢琰为会稽太守、都督五郡军事，统率徐州部众，在东海沿线驻防戍守。
可惜，谢琰虽为谢安次子、车骑将军谢玄从弟，但是并非将帅之才，原则上北府军为谢玄所创，所以讨伐孙恩的成功，虽然都是刘牢之的功劳，他也不过是坐享其成，但是那也是他们谢家军！这让他忘乎所以，既不去安抚百姓，又不整顿武备，每日里仍是世家子弟做派，高谈阔论，诗酒年华。
麾下将领们看不过去眼了，劝说道：“孙恩近在海边，肯定不会死心，时刻窥探我们，将军还是要多加小心才是啊！”
谢琰却不以为然：“苻坚厉不厉害？富有北方大部，有百万之师，结果又怎么样了？还不是落得个淮南送死的下场？
孙恩小小蟊贼，你们也是太看得起他了，怎么还敢再出来？如果他果真再回来，那就是送死！”
人就是禁不得念叨，说曹操曹操就到，公元400年五月，孙恩果然卷土重来，进犯浃口和余姚，又攻破上虞，谢琰派参军刘宣之前去抗击，双方在邢浦遭遇，刘宣之将其打败。
谢琰以为这回肯定没事了，但是手下却人心惊骇，部将皆认为应该严密防备才对，在南湖设列水军，严阵以待，并分派伏兵，突袭叛军，然而谢琰都没有听从，此时有的部下对他已经相当不满了。
没想到几天后，孙恩锲而不舍，再度进犯邢浦，官军抵抗乏力，接连败退，孙恩乘胜挺进。
五月三十，孙恩抵达会稽城。
当时，谢琰还没有吃饭，听说孙恩已经到了城下，豪气冲天道：“等我消灭此贼，再吃饭不迟！”