Далее отношения между родственниками резко ухудшаются.
В 1403 году, только восстановившись после поражения на Ворскле, Витовт захватил Вязьму, а в 1404 году, в отсутствие смоленского князя Юрия, атаковал и захватил Смоленск, после чего город надолго отошёл под руку Литвы.
Заслуживает внимания фрагмент переписки между Василием I и Витовтом, по поводу смоленского князя, упоминаемой в Тверской летописи за 1404 год. Витовт пишет:
— Помни, что твердо обещал мне не вступаться за Юрия Смоленского никаким делом; и вот Юрий мне много зла сделал, брата моего и твоего князя великого Романа Черниговского убил и казну его взял, иных князей побил, и много другого зла сотворил; теперь же он у тебя в твоем княжестве, поймай его своими людьми, потому что новгородцы твои; если же поймаешь, держи его у себя, как обещал мне по любви.
На что Василий I ответил Витовту вполне лояльно, что подтверждает существование некой договорённости:
— У меня Юрия нет, приняли его новгородцы без моего повеления.
Когда же Витовт, в том же 1405 году совершил поход на Псков и захватил Коложе, Василий I стал собирать войско против него, призвав под свои знамёна тверичей и татар.
Весной 1406 года, войска родственников-противников встретились на реке Плаве под Тулой, но всё завершилось перемирием до будущего года. Это перемирие, заключённое без ведома тверичей, вызвало обиду тверского князя, который на следующий год отказался поддержать Василия I.
