大业年间，李密占据洛口，隋炀帝非常害怕，躲在江都（今江苏扬州）不敢回京城，而随从禁卫军中大多数是关中人，一路上客居他乡，都很想家。看见炀帝一时半会儿没有西归的意思，就暗中准备造反。
     当时，统领禁卫军、屯兵东城的是武贲郎将司马德戡，他一边派校尉元武达暗地里打探情况，一边在将士中寻访。他无意中听到武贲郎将元礼与直阁裴虔通的对话，元礼说：“听说陛下打算建丹阳宫，看情况没有返京的意思。将士们都思念家乡，有的在暗中商量逃亡的事。我本想将此事告之陛下，但陛下一向最忌讳这类事，知道官兵有逃跑之意，就怕他们性命难保。如果知情不举，真要让陛下知道了，我一家老小又难逃族灭。我现在是进退两难呀？”
    裴虔通听了元礼的话说道：“是呀，确实挺难的，我也想回家啊！”
     司马德戡在这个时候走了过来，他对二人说：“你们两人说的话我都听见了。我听说关中陷落时，据守华阴的李孝常发动了叛乱，陛下就将他的两个弟弟都杀了。我们的家属可都在西边，要反的话，他们怎么办？”
    裴虔通就说：“是啊，所以我不能仅仅保全自己，这几天天天晚上做噩梦，正不知道该如何是好呢。”
    司马德戡说：“你晚上做噩梦，我现在白天都做噩梦。如果将士们要逃亡，我们只能跟他们一起走！”
     裴虔通、元礼连忙答曰：“是啊，只有这么办了。”接着他们又联络了内史舍人元敏等人，结为拜把兄弟，共商反叛之事。后经别人引荐，宇文智及也被拉拢入伙。司马德戡建议马上举兵造反，抢劫禁卫军军马和城中居民的财物以备作战的需要。
     宇文智及说：“如今老天要灭隋，普天之下英雄并起，造反起义的有几万人，应当趁机举大旗、谋大事，创立帝王大业。”大家听后，一致认为很有道理，并提议请宇文化及为主帅起兵。宇文化及刚一听到此事，脸色大变，冷汗直冒，过了好久才恢复常态，表示同意。
     大业十四年（618）三月初一，司马德戡打算把造反的事情宣告出去，又怕人心不齐，于是想了个办法蛊惑将士们，他对医正张恺说：“你是良医，很有威望，由你出面，大家一定会深信不疑。你可以对将士们说，谁若逃跑，陛下会准备毒酒，设宴毒死他们。”张恺依计行事，将士们反叛的决心更加坚定了。
     司马德戡于三月十日将旧部召集到一块儿，把准备造反的事情和盘托出。大家都说：“我们都听将军您的，您就下令吧！”当夜，负责关闭城门的奉义和裴虔通悄悄下令，各城门都不要下锁。三更时分，司马德戡在东城集结数万军队，举着火把和城外叛军遥相呼应。隋炀帝杨广听到外面有响动，便问道：“外面怎么回事？”
     裴虔通骗他说：“陛下，是草坊被烧，将士们正在救火，所以嘈杂喧闹。”炀帝信以为真。到了五更的时候，司马德戡将皇城各门换上自己的卫兵，裴虔通打开城门，亲率几百骑兵，杀死了将军独孤盛。在武贲郎将元礼的带领下进入内宫，此刻，守卫内宫的士兵早已没了踪影。裴虔通指挥骑兵驰入永巷，大声问道：“陛下在哪里？”
     一名吓得面如死灰的美女哆哆嗦嗦地指着西阁说：“在那儿。”裴虔通快马加鞭强行闯入西阁，已明真相的炀帝指着裴虔通大声呵斥：“你这个家伙，我对你不薄呀，你为什么要造反？”裴虔通答道：“我也是没办法，关中的将士都想家了，所以用这个办法请陛下回京罢了。”炀帝听后只好说：“那好，我和你一起回去。”裴虔通于是派兵看守炀帝。
     天亮之后，孟秉派精骑迎来宇文化及。宇文化及还不知道事情进展如何，胆战心惊说不出一句话，凡有人来拜谒他时，他都低着头双手按着马鞍回答道：“罪过。”
     此时，宇文士及住在公主府，还不知所发生的变故。宇文智及派家僮桃树去刺杀他，桃树有些不忍，把他绑到智及面前，智及犹豫再三，终念手足之情把他放了。宇文化及到了城门口，司马德戡上前迎拜，把他引入朝堂，拜为丞相。随后命人将炀帝带出江都门示众，杀掉，朝中的外戚和忠隋的大臣几十人无论长少一同被杀，只留下秦孝王的儿子杨浩，让他做了皇帝。
     十多天后，叛军人马夺江都（今江苏扬州）人舟船，从水道至显福宫，遇隋将一干人抵抗，杀之。宇文化及于是入住六宫，一切生活起居如同隋炀帝。每次坐在帐中面南背北，有人向他陈述事情时，他常常默然以对。只在下朝时，才收取奏折，让奉义、方裕等人商议回复。
     船到徐州，因水路不通，只能停止前行。宇文化及即派人掠夺百姓牛车两千辆，装满宫中珍宝。而部队的盔甲武器等辎重物品却令士兵背着，道路漫长，士兵个个筋疲力尽，怨声载道。