随末天下大乱，托塔天王李靖下界出生于官宦之家，隋将韩擒虎的外甥。祖父李崇义曾任殷州刺史，封永康公；父李诠仕隋，官至赵郡太守。李靖长得仪表魁伟，由于受家庭的熏陶，从小就有“文武才略”，又颇有进取之心，曾对父亲说：“大丈夫如果遇到圣明的君主和时代，应当建立功业求取富贵，何必做一个读书人。”
他的舅父韩擒虎是隋朝名将，每次与他谈论兵事，无不拍手称绝，并抚摩着他说：“可与之讨论孙吴（孙武、吴起）之术的人，只有你啊。”
李靖先任长安县功曹，后历任殿内直长、驾部员外郎。他的官职虽然卑微，但其才干却闻名于隋朝公卿之中，吏部尚书牛弘称赞他有“王佐之才”，隋朝军事家、左仆射杨素也抚着坐床对他说：“你终当坐到这个位置！”
大业（605年－617年）末年，李靖任马邑郡丞，在李渊帐下和突厥作战。这时，反隋暴政的叛乱已风起云涌，河北窦建德，河南翟让、李密，江淮杜伏威、辅公祏等领导的三支主力军以摧枯拉朽之势，涤荡着隋朝的统治。身为隋朝太原留守的李渊暗中招兵买马，伺机而动。李靖察觉了他的这一动机，于是李靖把自己伪装成囚徒，前往江都，准备向隋炀帝告密。但当到了京城长安时，关中已经大乱，因道路阻塞而未能成行。不久，李渊于太原起兵（参见太原起兵），并迅速攻占了长安，俘获了李靖。李靖满腹经纶，壮志未酬，在临刑将要被斩时，大声疾呼：“明公兴起义兵，本是为天下除去暴乱，怎么没有完成大事，而以私人恩怨斩杀壮士呢？[5]”李渊欣赏他的言谈举动，李世民（即唐太宗）赞赏他的才识和胆气，因而获释。不久，被李世民召入幕府，用做三卫。武德元年（618年）五月，李渊建唐称帝，册封李世民为秦王。为了平定割据势力，武德三年（620年），李靖随从秦王东进，平定在洛阳称帝的王世充，以军功授任开府。从此，李靖开始崭露头角。当进击王世充的战役（参见洛阳、虎牢之战）打响不久，盘踞在江陵（今属湖北）的南梁萧铣政权派舟师溯江而上，企图攻取唐朝峡州（今湖北宜昌）、巴、蜀等地，被峡州刺史许绍击退，遂退守安蜀城及荆门城。为了削平南梁萧铣这一割据势力，李渊调李靖赴夔州（今重庆奉节）平定萧铣。李靖奉命，率数骑赴任，在途经金州（今陕西安康）时，适遇蛮人邓世洛率数万人屯居山谷间，庐江王李瑗进讨，接连败北。李靖为李瑗出谋划策，一举击败蛮兵，俘虏甚多。于是顺利通过金州，抵达峡州。这时，由于萧铣控制着险塞，再次受阻，迟迟不能前进。李渊却误以为他滞留不前，贻误军机，秘密诏令许绍将他处死。许绍爱惜李靖的才干，为他请命，李靖这才免于一死。不久，开州蛮人首领冉肇则叛唐，率众进犯夔州，赵郡王李孝恭率唐军出战失利，李靖则率八百士卒袭击其营垒，大破蛮兵。后又在险要处布下伏兵，一战而杀死肇则，俘获五千多人。当捷报传到京师时，李渊高兴地对公卿说：“朕听说使用有功劳的人不如使用有过失的人，李靖果然立了大功。”
立即颁下玺书，慰劳李靖说：“卿竭诚尽力，功绩特别卓著。天长日久才发现卿无限忠诚，尽量给你嘉奖赏赐，卿不必担心功名利禄了。”
李靖的精诚至忠博得了李渊的信任。李渊改变了对他的成见，并亲笔写敕与李靖说：“既往不咎，以前的事我早就忘了。”
武德四年（621年）正月，李靖鉴于敌我双方的情势，上陈了攻灭萧铣的十策。李渊对此颇为重视，二月即任命李孝恭为夔州总管，擢任李靖为行军总管，兼任李孝恭的行军长史。李渊又以为李孝恭不太精通军旅之事，“三军之任，一以委靖”。李靖实际上已成为三军统帅，李靖组织人力和物力大造舟舰，组织士卒练习水战，做好下江陵的准备。同时，他见巴、蜀之地归附唐朝不久，各部族还不太稳定。为了解除后顾之忧，李靖劝说李孝恭把各部族酋长子弟都召集到夔州，根据才能的优劣分别授以官职，安置在左右，“外示引擢，实以为质”。这对于稳固巴、蜀政局起了积极的作用。这年九月，李渊诏令调发巴、蜀兵士，集结于夔州，并任命李孝恭为荆湘道行军总管，李靖兼行军长史，统辖十二总管，自夔州顺流东进；又任命李瑗为荆郢道行军元帅，出襄州道，为北路军；黔州刺史田世康出辰州道，为南路军；黄州总管周法明出夏口道，为东路军。四路大军分头并进，一齐杀向江陵，发起了一场规模巨大的军事攻势。适值秋天雨季，江水暴涨，流经三峡的涛涛江水咆哮狂奔而下，响声震撼着峡谷。萧铣满以为水势汹涌，三峡路险难行，唐军不能东下，遂休养士兵，不加防备。唐将也大都望而生畏，请求待洪水退后再进兵。李靖以他那超人的胆识和谋略，力排众议，说：“兵贵神速，机不可失。如今军队刚刚集结，萧铣还不知道，如果我们乘江水猛涨出师，顺流东下，突然出现在江陵城下，正是所说的迅雷不及掩耳，这是兵家上策。纵然萧铣得知我将出师的消息，仓促调集军队，也无法应战，这样擒获萧铣，定可一举成功。”
李孝恭依从其议，遂率战舰二千余艘，沿着三峡，顺流东进。由于萧铣毫无防备，唐军连破荆门、宜都二镇，并乘胜前进，十月即抵夷陵城下。这时，萧铣的骁将文士弘率数万精兵驻守在附近的清江。李孝恭大兵一到，即想进击。李靖劝告他说：“文士弘，是萧铣的健将，士卒精锐骁勇，现在荆门刚刚失守，他把精锐兵力全都派出来迎战，这是救败的军队，恐怕锐不可挡。我们应当暂且把战船停泊在长江南岸，不与敌人交锋，等到他们士气衰落，然后出击决战，一定能攻破敌军。”
李靖的避其兵锋，挫其锐气，然后一战可擒的战术是很正确的，但李孝恭由于连战告捷，错误地估计了敌人的力量，没有听从他的劝告，遂命李靖留守军营，自己率兵出战。果然不出李靖所料，双方一交战，孝恭军大败，即逃奔南岸，损失很大。文士弘获胜以后，即纵兵四出抢掠，兵士肩扛手提，多有收获。李靖见敌军队伍大乱，遂不失时机，迅即指挥唐军出战。文士弘军一时难以收拢，措手不及，结果被唐军打得落花流水，被杀及溺水而死者将近一万人，获得舟舰四百余艘。攻下夷陵之后，李靖又马不停蹄，率轻骑五千为先锋，直奔南梁都城江陵，李孝恭率大军继后。文士弘战败以后，萧铣非常恐惧，这时刚刚在江南征召士兵，结果征召的士兵不能如期赶到。李孝恭带领大军继续进攻，李靖又击败萧铣的骁勇大将杨君茂、郑文秀，俘获士卒四千多人，攻克江陵外城，接着又占领水城，缴获了大批舟舰，却让李孝恭全部散弃江中，顺流漂下。诸将对此做法都困惑不解，认为缴获敌船，正好充当军舰，为何却遗弃江中，以资敌用？李靖胸有成竹地说：“萧铣的地盘，南出岭表，东距洞庭，我们孤军深入，如果攻城未拔，对方的援军四集，我们将表里受敌，进退不获，虽有舟楫，将如何使用呢？如今放弃舟舰，使塞江下，援兵见到了，一定以为江陵已经被攻破，不敢轻易进去，往来侦察，往返拖延要一个月，我们一定能攻下。”
李靖的疑兵之计果然奏效，长江下游的萧铣援兵见江中到处都是遗弃散落的舟舰，以为江陵已破，都疑惧不前。交州刺史丘和、长史高士廉等将赴江陵朝见，在行进途中听说萧铣已败，便都到李孝恭营中投降。唐军把江陵围得水泄不通。萧铣见内外隔绝，外无援兵，城内又难以支持，走投无路，遂开门投降唐军。李靖率军进入城内，号令严肃，秋毫无犯。这时，诸将都以为萧铣将帅抗拒官军，罪大恶极，建议籍没其家财产，用以犒赏官军将士。李靖立即出面劝止，晓以大义，说：“王者之师，应保持抚慰人民，讨伐罪恶的节义。百姓已经受到战事的驱逼，抵抗作战难道是他们的愿望。况且狗自然会对不是自己主人的人吠叫，为萧铣战死的人，死为其主，不能与叛逆者同等看待，这就是蒯通之所以在高祖面前免除死罪的原因啊。现在刚平定荆州、江陵，应当采取宽大的政策，来抚慰远近的民心，投降了我们而还要没收他们的家产，恐怕不是救焚拯溺的道义。只怕从此其他城镇的敌将，拼死抵抗都坚守不降，这不是好的决策。”
李靖高瞻远瞩，宽宏大度，不贪财宝，确比诸将更高一筹。他这一做法颇得人心，由是江、汉纷纷望风归降。萧铣投降几天之后，有十几万援军相继赶到，听说萧铣已经投降，唐朝的政策宽大，也都放下兵器不战而降。李靖佐助李孝恭出师，仅用了两个月的时间，即消灭了江南最大的割据势力南梁。因其战功卓著，李渊诏封他为上柱国、永康县公，赐物二千五百段。攻取江陵的战斗历程，表现出了李靖杰出的军事才干，他进一步得到了李渊的倚重。战事刚一结束，李渊即擢任为检校荆州刺史，命他安抚岭南诸州，并特许承制拜授。武德四年（621年）十一月，李靖越过南岭，到达桂州（今属广西），派人分道招抚，所到之处，皆望风归降。大首领冯盎、李光度、宁长真皆派遣子弟求见，表示归顺，李靖承制都授以官爵。于是连下九十六州，所得民户六十余万。自此，“岭南悉平”。李渊下诏劳勉，授任岭南道安抚大使、检校桂州总管。李靖以为南方偏僻之地，距朝廷遥远，隋末大乱以来，未受朝廷恩惠，若“不遵以礼乐，兼示兵威，无以变其风俗”，遂率其所部兵马从桂州出发南巡，所经之处，李靖亲自“存抚耆老，问其疾苦”，得到当地人民的拥护，于是“远近悦服”，社会安定。