刘牢之曾祖父刘羲，以善射著称，曾任北地、雁门太守。父亲刘建，有武将才干，官至征虏将军，以勇猛雄壮著称。刘牢之面色紫赤，胡须与双目生得奇异，让看到的人感到惊奇，而且性格深沉刚毅，为人足智多谋。
太元二年(377年)，谢玄镇守广陵，当时前秦苻坚力量强大，谢玄招募勇壮威猛之士，刘牢之与何谦、诸葛侃、高衡、刘轨、田洛及孙无终等响应招募，因勇猛被选中。谢玄任命刘牢之为参军，率精锐部队作前锋，百战百胜，号称“北府兵”，使敌人望而生畏。太元三年(378年)，苻坚部将句难率兵南侵，谢玄率何谦等迎战。刘牢之则在盱眙一带夺取句难的辎重及运输船只，战后以功升任鹰扬将军、广陵相。太元八年(383年)，车骑将军桓冲率军十万攻襄阳，宣城内史胡彬率部进军寿阳，以策应桓冲。刘牢之则率两千士兵，作为胡彬的后续部队。
太元八年(383年)八月，淝水之战爆发，苻坚派其弟苻融及猛将张蚝攻陷寿阳，谢玄派胡彬与刘牢之阻击苻融、张蚝。胡彬军驻扎在硖石，不敢贸然前进。苻坚部将梁成又率二万兵马进驻洛涧，谢玄派刘牢之率五千精兵抗拒梁成。刘牢之与敌军相距十里，梁成沿涧列阵，以为险阻。刘牢之带领参军刘袭、诸葛求等率部径直渡过涧水，临阵斩杀梁成及其弟梁云等，又派兵截断敌军回撤的渡口，敌军步兵骑兵全线崩溃，争渡淮水，被刘牢之斩杀俘获万余人，缴获全部器械。苻坚不久后也在淝水遭到惨败，逃回长安，余部纷纷集结退守城池。
太元九年(384年)，刘牢之率北府兵北伐，攻占谯郡，派安丰太守戴宝率兵镇守。刘牢之被晋升为龙骧将军、彭城内史，因战功卓著被赐封武冈县男，食邑五百户。刘牢之又进驻鄄城，征讨那些还未降服的敌寇，黄河以南的许多堡垒武装望风归顺。当时苻坚之子苻丕据守邺城，为后燕慕容垂所围困，于是请求归降东晋，刘牢之领兵接应苻丕。慕容垂听说晋军来救苻丕，便从新城往北撤离。刘牢之与沛郡太守田次之率部追赶，行军两百里，到了五桥泽(今河北临漳北)，士卒争抢辎重，阵容逐渐混乱，慕容垂乘势攻击，晋军大败，几乎全军覆没。刘牢之跃马跳过五丈涧，得以脱险。遇上苻丕的救兵，一起进入临漳，召集战败失散的士卒，士气稍有振作，因战败被召回。不久，刘牢之又被任命为龙骧将军，镇守淮阴城。后戍守彭城，兼任彭城太守。刘黎在皇丘称帝，刘牢之率兵将其消灭。苻坚部将张遇派兵攻克金乡，围困太山太守羊迈，刘牢之派参军向钦之击退张遇，慕容垂叛将翟钊接应张遇，刘牢之引兵返回。翟钊退兵，刘牢之乘机占领太山，追击翟钊至鄄城，翟钊兵败逃往河北，刘牢之于是俘虏张遇回到彭城。司马徽在马头山聚众反抗朝廷，刘牢之派参军竺朗之将其消灭。后燕慕容氏攻打廪丘，高平太守徐含远频频告急，刘牢之无力救援，以怯弱畏敌罪名被罢官。
隆安元年(397年)，王恭起兵讨伐王国宝时，起用刘牢之为司马，兼任南彭城内史，加拜辅国将军。王恭派刘牢之击败王廞，让刘牢之兼任晋陵太守。王恭自负门第高贵，才能超拔，因而傲物凌人。当讨伐王国宝的檄文传至京都，朝廷诛杀王国宝、王绪后，王恭自以为功德威望大显天下，虽然依仗刘牢之的力量打败了王国宝，但不过只把他当作一个行阵打仗的武夫而已，很轻待刘牢之。而刘牢之自负有才，心中怨恨。隆安二年(398年)，王恭第二次起兵时，刘牢之进谏道：“将军今天的举动是承载着伯舅的重任，秉持着忠贞的节操，相王司马道子凭借周公旦的尊贵地位，在时下享有很高的声望，去年他已经杀了王国宝、王绪，又送来了王廞的书信，这是已经深深屈服于将军的表现啊。近来他所任用的，虽然不都妥当，但也没什么大错。割出庾楷辖下的四郡来配给王愉，对将军您来说有什么损失呢?难道还能再搞一次清君侧吗!”王恭虽然不听，但也对刘牢之许诺：“事情成功了，就把北府交给你。”于是派刘牢之率帐下督颜延先去占据竹里。这时，司马元显派庐江太守高素游说刘牢之倒戈，答应事成后，许他代替王恭的官职封号，刘牢之答应了。王恭的参军何澹之将这一密谋告诉了王恭。但王恭因为刘牢之与何澹之有矛盾，所以怀疑何澹之所言的真实性而不予采纳。王恭又置办酒席，盛情款待刘牢之，拜刘牢之为兄长，将精兵利器都配给他，让他做前锋。行军至竹里，刘牢之便杀了颜延，背叛王恭，归顺朝廷。同年，王恭兵败被斩，刘牢之代替王恭接管兖、青、冀、幽、并、徐、扬七州及晋陵的军务。刘牢之本是低级将领，一下子占据了王恭的显赫职位，众人都无法心悦诚服，刘牢之便重用心腹徐谦之等人以加强自己的势力。当时，杨佺期、桓玄率部威逼京师，上表为王恭申辩，请求朝廷诛杀刘牢之。刘牢之率北府兵急速行军奔赴京师，驻扎在新亭一带。桓玄等人接受诏令从京师退兵，而刘牢之则回兵镇守京口。
隆安三年(399年)，孙恩起义军攻陷会稽城，刘牢之派部将桓宝率兵援救三吴地区，又派儿子刘敬宣率军为桓宝的后续。救兵到曲阿，吴郡内史桓谦已弃城逃走，刘牢之便统率大军东征，上奏朝廷，即刻进军，到吴地，与卫将军谢琰联合进击孙恩，屡战屡胜，斩杀其许多军士，一直打到了浙江。刘牢之因功被拜为前将军、都督吴郡诸军事。当时谢琰驻扎乌程，派司马高素配合刘牢之作战。刘牢之率大军渡浙江，孙恩畏惧，率部逃到海上，刘牢之回师镇守京口。隆安四年(400年)，孙恩又乘机攻占会稽，杀害卫将军谢琰。刘牢之晋拜镇北将军、都督会稽五郡，再次率部东征，进驻上虞，派兵戍守诸县城池。孙恩攻克吴国，杀害吴国内史袁山松。刘牢之派参军刘裕讨伐孙恩，孙恩率部退回海上。不久，孙恩浮海突然到京口，战士十余万，楼船千余艘，军容强盛。刘牢之在山阴，派刘裕领兵从海盐堵截孙恩，刘牢之自率大军援救京口。刘裕所部兵力不足千人，与孙恩交战，击溃孙恩。孙恩听说刘牢之已回京口，便率部逃向郁洲，又被刘敬宣、刘裕等人打败。自孙恩战败自杀后，刘牢之声威大震。
元兴元年(402年)，朝廷打算讨伐拥兵叛乱的桓玄，任命刘牢之为前锋都督、征西将军，兼任江州刺史。司马元显派遣使者同刘牢之商议讨伐桓玄的有关事宜。刘牢之因为桓玄从小享有英名，如今又凭仗江南之众，担心无法制伏他，又考虑到消灭桓玄之后功盖天下，司马元显一定不会容忍自己，于是犹豫不决，不得已才率北府文武将士进驻洌洲。桓玄派刘牢之的族舅何穆劝阻刘牢之说：“从古至今，战乱时代，君臣之间彼此相互信任的只有燕昭王与乐毅、刘玄德(刘备)与诸葛亮(孔明)，但都是功业未成而明君早逝，假如功成名就，恐怕难保大祸不临头。常言道：‘高鸟尽，良弓藏;狡兔死，猎狗烹;敌国破，谋臣亡。’所以勾践杀文种，嬴则除白起，汉高祖斩韩信。他们都是英雄霸王之主，尚且不相信手下的功臣大将，更何况那些凶残愚昧、平庸无能之辈呢!自盘古开天地以来，拥有足以使君主震动的声威，建立无法封赏的大功，而能被昏暴君王所宽容的又有谁呢?相反，管仲箭射齐桓公衣钩反被他重用，雍齿多次威逼汉高祖反而受到汉高祖的厚封，这一类事是常有的，何况足下与桓公之间无射钩屡逼之仇呢?如今足下与桓公为敌，战败了将会遭到灭族之灾，战胜了同样会遭到灭族之灾，出路在哪里呢?与其头足异地，身败名裂，为天下俗人所耻笑，不如调转戈矛，保住自己的富贵，这样就可以使自身高位固若金石，英雄美名如天长地久。何去何从，请足下三思。”刘牢之自以为手握重兵，才能智谋足以统辖江南大地。当时谯王司马尚之已被桓玄打败，使得士气低落，军心沮丧，于是刘牢之接受何穆的劝说，派遣使者与桓玄联络。刘牢之的外甥何无忌与部将刘裕极力劝阻刘牢之，刘牢之一概不听。不久，刘牢之令儿子刘敬宣投降桓玄。桓玄大喜，设筵宴款待刘敬宣，而暗中设计杀害他，桓玄陈列大批名人大家的书画，与刘敬宣一同观赏。刘敬宣丝毫没有察觉到桓玄的阴谋用心，桓玄手下的将佐官吏无不相视而笑。
司马元显被捕后，桓玄任命刘牢之为征东将军、会稽太守，将其调离京口。刘牢之长叹道：“才刚刚开始而已，便削夺我的兵权，不久以后，大祸将会降临了!”当时，桓玄住在丞相府，刘敬宣劝刘牢之袭击桓玄，刘牢之犹豫不决，移兵驻扎班渎，打算向北投靠他的女婿广陵相高雅之，占据长江以北广大地区来对抗桓玄，召集众将领商议决策。参军刘袭说：“不能做的事没有过于反叛，而将军早年反王恭，不久以前反司马元显，如今又打算反桓玄。一个人一生当中三次反叛，怎能够立足于天地之间呢!”说罢，起身扬长而去。刘牢之手下将佐纷纷离开刘牢之，而刘敬宣在此之前返回京口转移家室，逾期未还。刘牢之以为他被刘袭杀害，便心灰意冷，上吊而死。不久，刘敬宣返回，来不及吊哭安葬刘牢之，便急忙投奔高雅之。刘牢之手下的将佐官吏代为操办丧事，并将刘牢之归葬丹徒。桓玄下令开棺斩首，将尸体暴露在街市上示众。义熙元年(405年)，刘裕击败称帝的桓玄，恢复东晋王朝，替刘牢之申辩，朝廷便恢复了刘牢之的职位和封爵。
罗斯·奥古斯特·奥托
约瑟夫·李斯特
弗兰克
格雷戈尔·孟德尔
贝克勒尔
威廉·哈维