其实张衡的被杀早就有预兆。
杨广与张🐻🅅衡在一起二十多年，彼此相知相识。二十多年来，张衡一直没变，可杨广变了。
杨广成了天子，已不再⛱🞎需要张先生动辄如父亲一般的🂹指手画脚。
所以一开始，杨广罢了张衡的相位，让他去做御史🀛♃大🂹🂹夫。这个时候杨广其实已经不想再听到张衡的话了。
大业三年，杨广北巡归来，上太行山，开辟直路九十里，一直通到张衡家，世人皆认为这是天子恩遇，鸿🞭恩浩荡，但唯有黄明远知道。🔊
这样的隆恩背后，是很多昔日恩情偿⚝💖还尽的🎊🏗🚐表现。
天子为张衡🈯🁶的拥立之功在还恩，恩还完了，情分也就尽🈳🏄了。
果然🔹🅠🇹不出黄明远所料，大业四年，杨广到汾阳宫，宴请随从官吏，特赐绢帛五百匹。当时杨广想扩建汾阳宫🔋，让🏵🞟🕘张衡和纪弘整画好图纸奏上。
此时天下已经出现了动乱的苗头，张衡也忧心忡忡，便想接着🜖这个机会进谏杨广，因此趁机🕙说道：“这几年劳役繁多，百姓疲惫，实在不应该再大兴劳役，还请圣人慎重。”
杨广当时听了便很不高兴，只是💨🔜碍着面子没有发作。
等到张衡🐻🅅离开后，杨广便连桌案都推翻了，指着张衡离去的方向大声骂道：“你以为你是谁！”
后来便传出天子曾对亲⛱🞎近侍臣言“张衡自以为因为他的计谋，才让我⚹⚹有天下”的话。
再之后，齐王杨暕将伊阙令皇甫诩带到汾阳🎊🏗🚐宫💳🕺🎨，有人便告发此事便是通过张衡做的。又说以前天子到涿郡以及祭祠恒岳时，那些来谒见的父老乡亲，衣冠大多不整，这是身为御史大夫的张衡没有做好。
杨广趁机发🈯🁶难，怪罪张衡，身为司法官不能检举处理这些问题，⚂让他出京当楼烦太守🛬。
张衡就此被贬出朝廷。
大业五年，杨广👙又到汾⛱🞎阳宫，张衡正在督促劳役修筑楼烦城，因而拜见杨广🔢。