Yoritomo alipata muda wa kufurahia mafanikio yake, alipokuwa na umri wa miaka 52 alipopigwa na farasi na kufa kutokana na majeraha yake.
Yoritomo alikufa kutokana na majeraha aliyoyapata alipokuwa akiendesha farasi.