當時端明殿大學士馮玉就把他作威作福的情況告訴了晉出帝，出帝因此非常厭惡桑維翰，沒多久便把樞密使的官位給了馮玉，后來又剝奪了維翰的相位，以馮玉為相。而晉出帝嗜酒如命，后來喝出病來了，桑維翰得知之后就跑到太后那，說道：「當今陛下本來就不是先帝親子，現在又每日酗酒，以致病重，老臣希望太后做好準備，讓七王爺石重睿學習理政，并給他安排好的太傅輔佐，老臣愿不辭辛苦，鞠躬盡瘁！」

后來沒多久，晉出帝的病居然好了，得知桑維翰有過擁立石重睿的打算，氣得暴跳如雷，立馬將桑維翰在朝中的一切職務罷除，只讓他去做汴梁的開封府尹，桑維刊翰也不毫不服氣，自稱足疾，哪也不去，只呆在家中，也不再入朝覲見了。

后來遼太宗又率大軍南下，都打到河北欒城了，桑維翰急得大叫：「事急矣！」就找到當時的宰相馮玉，要他趕緊想辦法，可馮玉對他毫不理睬，桑維翰只好去宮中求見晉出帝，出帝卻在林苑之中喂養獵鷹，沒時間召見他，桑維翰這才嘆息道：「后晉江山完了！」

后來遼軍直逼京師，晉出帝的親信大將張彥澤都已兵敗降遼，遼太宗便派張彥澤先入京城，要求后晉朝廷派出桑維翰來商談一番受降事宜。可晉出帝已經恨透了桑維翰，知道他深得遼太宗青睞，就偏不讓他前去，又暗示張彥澤伺機除掉維翰。

而張彥澤早就對桑維翰的萬貫家產垂涎已久，沒多久，遼軍入城，張彥澤立馬帶著兵卒前往桑府抄家，可桑維翰素有威嚴，當初做宰相的時候，后晉的諸將百官沒有不敬畏他的，就連久經沙場的張彥澤每次見到桑相國，即便在冬天里也緊張得汗流浹背。

這時桑維翰聽說張彥澤帶兵趕過來了，左右之人都勸他逃離避禍，維翰笑道：「吾為大臣，國家至此，安所逃死邪！」于是安坐府中不動，等到張彥澤入室見他，桑維翰毫無懼色，厲聲道：「汝有何功？當社稷危急，不能盡犬馬之力以為報效，一旦背叛，助契丹作威為賊，汝心安乎？吾之晉大臣，自當死國，安得無禮邪！」

張彥澤睹其詞氣慨然，被嚇得兩股戰栗不敢仰視，退出去對左右說道：「桑公威嚴，今日見之，猶使人恐懼如此，其可再見乎？」于是當天夜里就派出五名軍中大力士把他給吊死，據說縊殺桑維翰時，他瞌目直視，連噓三口氣，皆有火出，其光赫然，竟將其中一位力士燒得面目全非，慘叫不已，而三噓之外，火焰盡滅，其人便奄然咽氣，終年四十九歲。

后來劉知遠稱帝，建立后漢，還追贈這位「老同僚」為尚書令。

等到遼太宗耶律德光入城想見「老朋友」的時候，張彥澤居然謊報道：「維翰自縊矣！」遼太宗嘆息道：「孤本無心殺他，作為老朋友何必如此！」后來又派人檢驗他的尸體，見脖子上有勒痕，便信其縊死，而后對其進行了厚葬，張彥澤則欣喜若狂地趕緊帶人跑到桑府，占有了桑維翰所有的家產和姬妾侍女。

而這個張彥澤早在石敬瑭為帝時期，就兇殘成性，當他在做涇州節度使時，麾下將領張式、楊洪勸說他不要縱兵殘虐百姓，居然被他以酷刑肢解，后又將二人之妻奪為己有，晉出帝降遼，他又詐取了桑維翰家產，并將晉天子內庫所藏珍寶盡數輸入私第，并盜取皇帝御輦，不知有何圖謀。

后又縱兵大掠京城，動不動就將行人腰斬，后來遼太宗聽聞他比自己的契丹武士還要殘暴，心中不由大怒，難怪中原人對遼人如此痛恨，原來他們都把為遼軍打先鋒的張彥澤兵馬當作遼軍了。

于是遼主面問后晉百官和汴梁百姓道：「彥澤當誅否？」百官百姓皆言當斬不赦，遼主即傳令斬首，居說當時城中之人爭破其腦，斷其腕，取其髓，碎其肉而食之，這就是為害百姓，賣主求榮，甘為異族鷹犬的可悲下場！比起雖然失節，卻尚有讀書人骨氣的桑維翰實在是差遠了！