于是祖逖带着一百多人的随从渡江北上开始了征讨的历程，面对滚滚东去的长江水他激情澎湃心里不能平静，祖逖用船桨击打着水激昂地说道：“我祖逖今生不收复中原决不回去。”随行的人都为之所感动。祖逖渡过长江到了北方暂驻淮阴，不久就组织了一支两千多人的队伍与此同时，起炉冶铁，铸造兵器，为收复失地的战斗做着准备。
公元317年他带领大军在谯城(今安徽毫县)打败了石勒的军队，仅三年的时间就收复了黄河以南的大部分地区。他时刻谨记自己的誓言“不收复中原决不回去”。
祖逖北伐时，也就是东晋大兴二年(319)农历6月，石虎派桃豹据浚仪，屯兵西台，从南门出入，祖逖则派韩潜据东台，由东门出入，两军相持四十日。双方都已经到了弹尽粮绝的时候，祖逖决定设计智取，于是命令把沙土装在粮袋里，假装成米，让一千多人像运送军粮一样，忙忙碌碌运上东台。又故意让几个人真的挑着大米，走在后面，佯装疲惫在路上休息，等敌军来抢米。桃豹的军队缺粮已久，见晋军运粮，以为有机可乘，突然冲过来抢粮，那几个人扔下粮袋仓皇逃跑。桃豹军中无粮，最终连夜撤军。桃豹跟随石勒东征西讨，也是曾经和东晋大将祖逖北伐战斗中斗智斗勇的一名老将。
传说祖逖收复河南后，休养生息，善待百姓。一次，他设宴招待当地耆老。耆老都流着眼泪道:"我们老了，却能得到祖将军这样的父母官，虽死无憾。"祖逖作歌道：
"幸哉遗黎免俘虏，
三辰既朗遇慈父，
玄酒忘劳甘瓠脯，
何以咏恩歌且舞。"
太兴四年(321年)，晋元帝任命戴渊为征西将军、都督司兖豫并雍冀六州诸军事、司州刺史，出镇合肥。 祖逖认为戴渊虽有才望，却无远见卓识，而且自己辛苦收复河南，却仍不得朝廷信任，心中甚为不快。不久，祖逖又听闻王敦跋扈，朝廷内部矛盾日益尖锐的消息，担心内乱爆发，北伐难成，以致忧愤成疾。
祖逖虽患病，但仍图进取，抱病营缮虎牢城。虎牢城北临黄河，西接成皋，地理位置非常重要，他担心城南没有坚固的壁垒，易被敌军攻破，特意派从子祖济率众修筑壁垒。但壁垒尚未修成，祖逖便在雍丘病逝，时年五十六岁。
据说祖逖去世前，豫州分野有妖星出现。术士戴洋预言："祖豫州九月当死。"妖星出现后，陈训道："今年西北大将当死。"祖逖自叹道："妖星应在我身，本想进军平定河北，而天欲杀我，这是对国家不利的征兆啊。"不久祖逖便去世了。
祖逖死后，豫州百姓如丧父母，谯梁百姓还为他修建祠堂。晋元帝追赠祖逖为车骑将军，并命其弟祖约接掌其部众。 后赵趁机入侵河南，祖约难以抵御，退据寿春。祖逖收复的河南大片土地最终又被后赵攻陷。
一代大将满腹的抱负不被朝廷重用，你又能奈何
免责声明：以上内容源自网络，版权归原作者所有，如有侵犯您的原创版权请告知，我们将尽快删除相关内容。
