他看出王恭根本瞧不起刘牢之，只是在利用他的军队来帮助自己获得胜利，而刘牢之随着自己的功劳越来越大，地位不断升高，使他很在乎别人对自己的态度，所以王恭之间渐渐疏远。于是司马道子的儿子派出了一个使者，对刘牢之一番说服，并许诺他一旦投降就会给他高官俸禄。刘牢之觉得这个条件可以，就投降了，背叛了王恭，使得王恭兵败被杀。他就投奔到了司马元显那里，司马元显派他去打头阵，来来对付桓玄的军队。桓玄听说过北府兵的威名，所以他很忌讳这支军队，就偷偷派人想要策反刘牢之。
他给出的条件远远比当初王恭给他条件要好得多，所以他又一次投降，又一次背叛了别人。但是这两次反叛还是有区别的。王恭是东晋的叛将，而司马元显是代表着朝廷，所以他这次背叛司马元显就相当于背叛朝廷，从道义上来说是不对的。他的手下都反对，但是刘牢之不听，执意投降。虽然一时给自己带来了很多的好处，却惹怒了朝廷，最终被朝廷的军队所打败，结束了自己的一生，而北府兵也一哄而散。
