不过这件事终究没有像臧衍设想的那样进行，因为刘邦派出得力大将樊哙、周勃打败了叛乱的陈豨。这个时候为了活命，陈豨的一个部下就反水投降了刘邦，并将卢绾派人与陈豨暗中结盟的事情和盘托出。刘邦这个时候气炸了，亏我这么相信你。于是他就愤愤不平地让人去找卢绾来与自己对证，看看到底是不是这么回事。到了这种时候，卢绾当然是吓的不敢去见刘邦了。刘邦为了显示自己的诚意，，就派出了审食其、赵尧这样的大官，亲自去迎接卢绾，但他还是拒绝去见刘邦。
这个时候刘邦的手下又抓住了匈奴的属下，也证实了当初张胜到过匈奴的事实，这个时候的刘邦认为自己被发小给欺骗了，就兴兵讨伐卢绾。卢绾打不过大汉的军队，只好跑到边境去等待机会向刘邦说明实情。但是刘邦这时在讨伐英布的途中受了箭伤，不久就死去了。没有了依托的卢绾只好投奔了匈奴。
从整个事件的前龙后脉来看，卢绾一开始是绝对没有反意的，他只不过是为了能够长久的统治燕国，作出的对自己最有利的选择。他在与自己臣子的对话中也表现出了相同的意思，他不怕刘邦，但他怕刘邦背后的那个叫吕后的女人，因为韩信和彭越此前都是死在这个女人的手里。
