Однако отношения с европейцами начали быстро ухудшаться. Исаак II понимал, что сумму, которую пообещал им его сын, императорская казна дать не в состоянии. Алексей IV пытался вернуть долг крестоносцам. Для уплаты долга он обложил экстраординарным налогом всех, конфисковал имущество сторонников Алексея III, велел переплавлять украшения и изымать церковную утварь. Немного помог захват нескольких городов во Фракии в ходе войны с Алексеем III. Кроме того, по его настоянию патриарх Иоанн Каматир был вынужден пойти на ряд уступок папе.
В августе 1203 года крестоносцы отправились грабить мусульманский квартал, из-за этого начались стычки с городскими дружинниками. В итоге разгорелся пожар, за два дня нанёсший серьёзный урон ремесленным кварталам, ипподрому и Большому дворцу.
К осени правительству удалось собрать половину суммы — 100 000 марок. Деньги не удовлетворили европейцев, и был подписан договор, по которому они оставались ещё на год, дожидаясь выплаты всей суммы. Но к этому времени знать и простой народ ненавидели Ангелов из-за тяжёлой экономической ситуации и присутствия крестоносцев.
В декабре 1203 ненависть между гражданами Константинополя и крестоносцами вырвалась наружу насилием. Разъяренные толпы хватали и жестоко убивали любого иностранца. Крестоносцы, в свою очередь, считали, что Алексей IV не выполнил данных им обещаний. В итоге Алексей прямо сказал им: «Я не буду делать больше, чем я сделал».
Проблемы начались и с ещё одной, неожиданной стороны: ослеплённый Исаак II был недоволен тем, что приходится делить власть с сыном, и начал распространять против него всякие слухи, обвиняя его одного не только в сложившейся ситуации, но и в расточительном образе жизни и даже в сексуальных извращениях. Так, например, он пустил слух, что Алексей общается с «развращенными мужчинами».
Сам Алексей не смог открыто выступить против крестоносцев, как этого от него требовали жители. В начале января 1204 года он попытался поджечь 17 кораблей крестоносцев, но попытка не удалась.
25 января 1204 года в соборе Святой Софии оба соправителя были низложены горожанами. Узнав об этом, Алексей IV приготовился ввести войска латинян в свой дворец и хотел послать на переговоры с крестоносцами протовестиария Алексея Дуку Мурзуфла. Однако тот сам имел имперские амбиции. 28 января он приказал схватить Исаака и Алексея и бросить в тюрьму. Он дважды пытался отравить его, а затем приказал задушить (Хониат: 7; 1, 3—4). Исаак умер, не выдержав известия о гибели сына.
Во время короткого правления Алексея IV империя потеряла свои территории на побережье Чёрного моря до Трапезунда.