然而后来发生的一件事却使得他们俩个人的关系急转之下。大汉初定以后，天下仍有一些诸侯蠢蠢欲动，想要和刘邦扳扳手腕。有一年有个叫陈豨的赵国国相就起兵反叛，自称为代王。自己的大汉天下岂能容得别人胡作非为？刘邦当即就要求封在北边的卢绾配合作战，而自己从南边进攻，想要一南一北两路夹击。这个时候的陈豨明显吃不消了，他于是将目光瞄向了北边的匈奴，就派人去找匈奴帮忙。得知消息的卢绾也派手下去游说匈奴，大意就是陈豨败局之定，让匈奴不要搅和这趟浑水。
没想到他的使臣张胜在匈奴的时候，却先碰到了燕国原来国君的儿子臧衍。这个人就告诉张胜不要灭掉陈豨的代国，认为辱亡必定齿寒，没想到张胜居然忘记了自己出使匈奴的计划，竟然同意了臧衍的请求，于是就擅自改变了出使计划，执行了臧衍所谓存代连胡的建议。于是他到了匈奴以后，就要求匈奴进攻卢绾镇守的燕国。毫不知情的卢绾以为是自己的使臣背叛了自己，就向刘邦表示要杀了这个张胜全家。等到张胜后来回来向他讲明原委以后，卢绾又心动了，于是就派人去顶替张胜一家受死。
