怀庆之战后，太平军跳出包围，西进山西，又一路快速攻城过镇，成功甩开了清军主力围追堵截，挥师东进，为进兵直隶打下了基础。
挥兵东进兵破临洺关
咸丰三年八月二十三日（年9月25日），太平军攻克黎城，次日（9月26日）黎明，太平军经东阳关（在黎城县东北，即壶口故关，古称吾儿峪），出山西境，再入河南彰德府境（辖区位于今河北、河南两省境内），出响堂铺而下，将涉县（今属河北邯郸）团团包围，县令李毓珍率清兵及乡勇近千人据城而守，太平军破城而入，李毓珍率众与太平军混战于城内。最终，李毓珍及50余随从被擒，杀死在城外茄子地里。
太平军经涉县东去，又入武安境，经冶陶、徘徊、午汲等镇兵临武安县城，知县钱应升潜逃。太平军由此向东北行进，经大旺村、田村、康宿，沿洺河出境，于八月二十六日（9月28日），夜渡观音岭，进入直隶境内。
直隶是京城的南部屏障，而首当其冲的南大门就是临洺关（今河北永年），其西依太行，北扼洺水，“实为畿辅，北通燕涿，南达郑卫，东连齐鲁，西接秦晋”。太平军如果得此要塞，可一路由平原北上直至京城。这时的清政府急命府钦差大臣、直隶总督讷尔经额派兵阻止太平军北上。
在怀庆之战时，讷尔经额的队伍一度进驻河南清化镇（今河南省博爱县）。但此人是知识分子出身，为人庸懦，面对太平军的游击战术是束手无措。在太平军入晋以后，他带兵回防直隶堵截太平军。但这时直隶境内的清兵数量并不足额，在临洺关只有驻守的吉林兵名和从山西截留折回的名山西兵。
薛福成的《庸庵随笔》卷一中记载，有人曾经向他献计山西潞城、黎城之间有关口，可以出太行山东行到达武安，直抵临洺关，是条近道，但是中间有要隘可以扼守，“若遣兵五六百人守之，虽十万之众不能过也”。讷尔经额对这一提醒却并不主动应对，“以非直隶辖境，咨山西巡抚守御”。
果不其然，没等咨文送到山西巡抚手中，八月二十七日（9月29日），讷尔经额得到消息，太平军由临洺关西边的聪明山（今河北永年明山）袭来。
在得知消息后，讷尔经额饬令总兵经文岱督兵洋枪队抵抗，自己坐阵指挥。两军先是在石碑口（今河北永年石北口）遭遇。一场激战后，太平军退守聪明山后，林凤祥采取正面佯攻，两翼包抄的战术，结果是清军大败。期间还有石碑村乡勇一同进行抵抗，五十余人被斩杀。《永年县志》中记载：“官兵矢药皆尽，势不支，时乡民助战，势甚锐，久之无援亦败”。
根据《永年县志》的记载，太平军差不多中午时分结束了在聪明山的战斗，其中，一路太平军攻克了临洺关，清军顺德府分防同知周宪曾战死，身首异处，其妻、妾、幕友、家丁同时遇害。另一路太平军一路向东追击逃跑的讷尔经额快到广平府城的护驾村（原属永年，今河北省邯郸市丛台区南沿村镇）后，又返回临洺关，《永年县志》记载“是晚，贼趋郡城，至护驾村迂水而止”。而兵败后的讷尔经额带数十人逃入广平府（府治今河北省邯郸市永年区广府镇）城，关防、令箭、军书、资械委弃皆尽。
根据《瑛兰坡藏名人尺赎墨迹》中的记载，时任直隶布政使张集馨曾在咸丰三年重阳后三日（也就是年10月14日）写给其好友瑛棨（号兰坡居士，时任河南督粮道）的一封信中，介绍了这次讷尔经额落败之况，“怀庆之贼由晋入直，适节相（指钦差大臣、文渊阁大学士、直录总督讷尔经额）在洺关相值，猝不及备，伤亡兵卒四百余人，军火、衣物、饷银一概失落。同知周宪曾合门遇害。……”
临洺关一战并不是一场大规模的攻防战，但是战略意义重要，太平军的突进，导致了清廷极大震动。此役过后第四天，清政府任命兵部尚书桂良担任直隶总督，将讷尔经额罢职，逮下狱，论斩监候，直到太平军北伐部队被全部镇压后，才得以赦免出狱。
讷尔经额之所以被免，一是因为他此前身为钦差大臣，前期督战不利，朝中早有人对其不满；再者是因为临洺关的重要性，清军的落败，使得太平军可以长驱北上。还有就是太平军的获胜后，“贼焰由此大张”。薛福成的《庸庵随笔》卷一中对其评价说“故相讷近堂阁部之总制直隶也，酣嬉废事，吏治日坏。……盖讷相为承平大吏已数十年，养尊处优，素不知兵，行军既无侦探，又无营垒，加以拘率文例，故及于败云”。
长途跋涉一日克一城
太平军北伐队伍拿下临洺关后，迅即北上，沿途快速推进：
八月二十八日（9月30日），攻陷沙河县（今河北邢台沙河市）。知县玉衡身受七伤，与其妻妾同死。
旋即，过境顺德府（今河北邢台市），未克，略府城而过。
八月二十九日（10月1日），太平军攻陷任县（今河北邢台任泽区），知县陈登汉负伤。
八月三十日（10月2日），太平军过境唐山县（今河北隆尧县西部原尧山县的曾用名）南，攻陷隆平县（年，隆平、尧山二县合并为隆尧县），知县陈瑄逃跑。
而后，太平军略过宁晋县。于九月初一（10月3日）攻克柏乡县城（今河北邢台市柏乡县），柏县知县费懋德连夜开城而逃。
九月初二（10月4日），太平军进攻赵州（今河北石家庄市赵县），知州胡允植藏匿不出，太平军轻取赵州，州署被焚。#太平军#
九月初三（10月5日），太平军攻克栾城县（今河北石家庄市栾城区），知县唐盛战死。根据陈锡麟的《唐公殉难传》中记载，唐盛是朔州人，咸丰元年任栾城知县。此前，清廷组织各地官军经过栾城，唐盛曾在南关设置栈营，供应谨严，商民不扰。在太平军来袭前，他又招募组织乡勇巡城防守。太平军自南门攻入，劝降唐盛，唐盛说“若启门纵民出，当降汝”，太平军同意后，百姓逃出城外，唐盛转而对太平军破口大骂“身为朝廷守土之官，不能杀贼，城亡与亡耳，鼠辈何为者？”结果被绑在大堂坊柱之上射死，“断其首悬诸仪门”。
栾城的陷落，给清政府造成了一种太平军大有沿正定、保定一路北上，直取北京的态势。这个时候位于滹沱河北岸的正定府城紧张起来，正定知县周灏开始严密防守。这是清军防止太平军继续北上的又一道防线，但兵力严重不足的一道道奏折让咸丰皇帝如同热锅上的蚂蚁急的团团转，盼胜保、盼援兵。
此时，新任直隶总督桂良坐镇保定，咸丰皇帝一直所倚仗的胜保还远在山西平定州，直隶提督保恒八月三十日才从固关出发，直到九月初四才到达正定。
根据九月初三（10月5日）《桂良奏报隆平、柏乡失守，请催察哈尔兵前来正定防剿折》中的奏报称：“正定府城现有截留大同兵三百二十五名，并有酌调外汛兵一百名，二一日方可到齐。正定府县令团练壮勇二百名，均在城上分布安置。”而当时的直隶省城保定，也是兵员不足，“省城官兵仅有四百余名，满营驻防官兵亦止五百余名，均无可拨”，桂良奏称九月初二“将察哈尔兵四千名派培成等带赴正定迎剿，又派庆祺等管带盛京兵二千名驰赴保定防守”，
九月初三（10月5日）的《胜保奏报敌股北扰现由正定督兵进剿等情折》中显示：“奴才与善禄惟有竭尽心力，昼夜兼行，以冀速保正定”，说了一堆感人的话语，并提出了一堆应对之策。对此奏折，九月六日，咸丰皇帝御批：“知道了，已屡次有寄谕，催汝前进，……正定无兵，焦急之至，专赖汝之赶到也。”
远水解不了近渴，这些队伍无法及时到防，让咸丰皇帝心中十分着急，“保定前路无兵，奈何”。
九月初六（10月8日），胜保又发奏折《钦差大臣胜保奏报督兵驰抵正定并飞催各路官兵相机追剿折》，这期间他接替讷尔经额升任钦差大臣，还获赐宝刀一把，可以说是功劳不大，倒是权势大增，荣誉赚了一身。胜保奏报说“奴才由九月初三日拜折后，在平定州接到由讷尔经额派员赍到钦差大臣关防一颗，奴才当即叩头祗领，初四日行抵固关途次，遇山西巡抚臣恒春由北入晋……当经恒春口传谕旨，面授神雀刀一口……奴才即日拟到正定稍齐兵勇，并严催各路之兵前进。”
根据胜保的这份奏折可以得知，胜保是差不多在九月六日（10月8日）才到的正定，开始安排各路清兵布防。而太平军先他一步，并没有直接进攻正定，转由栾城县折向东北的藁城县（今石家庄市藁城区），知县胡塍逃走。据《续藁城县志》卷之四记载，“粤贼林凤翔由栾城寇藁城，初四日（10月6日），城陷。察哈尔都统西陵阿获胜”，
在《栾城县志》中的记载“初四日（10月6日），察哈尔都统西陵阿追粤逆于藁城，大败之”，但接着又说“退防栾城。”清军既然取胜为何又退守栾城呢？可见官方的县志记载有粉饰之嫌。其实，西陵阿的获胜难免有捡漏的可能，毕竟当时太平军的目标并不是与清军决战，而是一心伺机北上。清军对于这场“胜仗”描述为“都统带兵追贼于藁城西南徐村，大获全胜。是日退守栾城，驻扎台头寺。”
次日（10月7日），太平军搭浮桥渡过滹沱河。
九月初六（10月8日），太平军攻陷晋州。知州杨云鳌战死。
九月初七（10月9日），过境束鹿县（今河北辛集市），攻克深州，斩知州陈希敬。
就这样，太平军北伐队伍自八月二十七日至九月初七，在十一天的时间里连克十州县，二百余公里，几乎是一日一城。此后，长途奔袭，人困马乏的太平军开始再度休整，加之当时秋雨靡集，“各处水潦汹溢”，太平军北伐队伍于是短暂屯驻深州。
未成行的热河避难
在这之前，有一个小小的插曲，就是太平军到达定州的误报。根据桂良在九月初八（10月10日）的一份奏报，说他九月初七接到望都县禀报，发现有太平军在定州李青果村附近活动，距离省城保定只有百十余里，他就急命胜保（由山西回防正定）驰赴定州。此时的直隶各县已呈惊弓之鸟一般，生怕太平军入境，各种慌报四起。随后桂良又接到了定州、新乐县等奏报，说太平军北伐队伍在藁城郝庄（现在无极县郝庄）一带扎营，距正定五十余里。于是他赶紧命人在滹沱河沿岸收集船只，并命提督保恒侦探，太平军由何处渡河。胜保在得到桂良飞咨太平军已到定州消息后，旋即向北急行军追击，结果并没有发现太平军大部队，白跑了一趟保定。
这个假消息也让京城上下恐慌，甚至一度传出了太平军分兵到达安平、蠡县，前锋直抵张登镇（今天河北省保定市清苑区）的谣传，“京官甚有不待请假即仓皇出城者”。
《马克思恩格斯全集》第十卷中，马克思年3月3日一篇文章中记载，“中国皇帝预见到北京会失守，曾命令各省总督把皇帝的收入交到热河——这是皇帝的旧的氏族领土和他现在在满洲的夏宫，在长城东北约八十英里的地方”，准备逃亡，只不过这次计划并未成行。在《慈禧传信录》卷上中记载，咸丰皇帝曾经对军机大臣杜翰说：“天启当亡国而弗亡，崇祯不当亡而亡。今豫南北皆残破，贼已渡河。明代事行见矣，设有不幸，朕亦如崇祯不当亡而亡耳”。上述的说法真实性值得商榷，但是当时这种末日将临之感也确实让咸丰为之欲哭无泪。
《清文宗实录》第卷中记载，京城内的官绅如此，民间亦是如此。太平军将要到来的消息一度引发各地骚乱，天津以北，“永平府属一州六县，无处不有枭匪，数月内官设盐店被抢者十之八九”，甚至“千百结伙持械，四处抢劫”。
历史的发展就是这么有意思，虽然太平军的到来让咸丰皇帝经历第一次初考，热河之行未能成行，但在七年后的咸丰十年（年），英法联军真的打到了北京，兵临城下，咸丰皇帝不得不以“木兰秋狝”为名带着一批大臣真的逃到了热河行宫避难。
面对太平军的步步紧逼，这时的清廷内部可以说是如同热锅上的蚂蚁。虽然口头上说“该逆不敢抗拒，残喘苟延。畿疆近地，岂容逆匪肆行”，但实际上已经开始再度调集兵马，调整军事指挥体系班子了。根据九月初九（10月11日）的咸丰皇帝发布的《谕内阁著授绵愉为奉命大将军，僧格林沁为参赞大臣总统诸军》一份圣旨中显示，咸丰皇帝在乾清宫举行授印礼，着手人事调整，此前，他已调培成、多尔济那木凯、达洪阿等统带旗营官兵出京进剿。
他命惠亲王绵愉为奉命大将军，御前大臣、科尔沁札萨克多尔郡王僧格林沁为参赞大臣，分别授予二人锐捷刀和讷库尼素光刀。“即日统领健锐营（五百名）、外火器营（五百名）、两翼前锋营及八旗护军营（二千名）、巡捕五营（五百名）及察哈尔（一千名）各官兵，与哲里木、卓素图、昭乌达东三盟蒙古诸王等劲旅，由京前往合剿，与钦差大臣胜保等前后夹击。”
同日，咸丰皇帝还命定郡王载铨、内大臣壁昌会办京城巡防事宜。设置京城巡防所，以军机大臣穆荫、左都御史步军统领花沙纳、右翼总兵达洪阿等专负其责。
另根据咸丰皇帝给胜保的谕旨显示，北面由庆祺率盛京兵由水路启程，赴河间扼截，西陵阿由南面兜剿，兼防东窜之路。
九月十一日（10月13日），一直尾随太平军大部队的西陵阿部自束鹿（今河北辛集）继续追击，结果在深州城西十里的杜庄被击败，撤回了束鹿。而扑空的胜保于九月十四日（10月16日），率兵经张登到达了深州城北十五里的西午村。
太平军在屯驻深州期间，因为清政府一直觉得太平军即使在深州，仍会经由“安平、博野小路，直扑保定，并无险可守”。九月九日（10月11日），桂良在一份奏折中称“如该逆由深州北窜，则保定势须严守。……若由深州东窜，则河间、天津等处均关紧要。”
时值秋雨浸淫，因城外水深，清军于是采取三面包转之势，副都统佟鉴还用大炮轰击深州城。期间，太平军利用城外的密林设伏，夜袭清军吉林马队。随着包围的清军越来越多，九月二十日（10月22日）夜，“贼开东门凫水夜循”，太平军自深州东去。
此后太平军迅速向东进击，甩开清军包围。九月二十一日（10月23日），太平军先经武强县的小范村，沿滏阳河北行，过滏焚桥，是夜，攻克献县。后于九月二十三日（10月25日）早晨，攻克交河县城（今河北省泊头市交河镇）。九月二十四日（10月26日），太平军抵达泊头镇。在击败当地兵勇三千余人后，九月二十五日（10月27日），太平军攻陷沧州，知州沈如潮战死。
九月二十二日（10月24日），钦差大臣胜保到达了河间一线，进至太平军西北方向。而十几天前，咸丰皇帝钦封的参赞大臣僧格林沁，还屯兵在他请驻的涿州，缩在二线不动。此时，一位钦差大臣，一位参赞大臣，二人的矛盾由此可见。
因军情紧急，太平军并未在沧州久留，九月二十六日（10月28日），太平军沿运河北上到达青县（属河北省沧州市）时。而这时，僧格林沁的部队才由涿州移防到了固安。
此后，太平军又继续沿运河北上，到九月二十七日（10月29日）时，太平军前锋已经静海县城，在此安营扎寨。由林凤翔留守大营，李开芳等率余部急速夺取独流镇、良王庄，到达杨柳青。到九月二十八日（10月30日）中午，太平军前锋已经开始进攻天津西郊的大小稍直口。由于天津城内守备空虚，守军只好掘开南运河，放水阻拦太平军进攻，此役太平军受挫，“贼大败，知不可破，即于二十八日奔杨柳青，官兵又败之，遂窜陷静海县并独流镇两处，连营固守”。
胜保的军队先是追到了青县，又于十月初二（11月2日），僧格林沁到达东安县。
太平军此时开始在静海、独流、杨柳清三处“扎营守候”，显然有控制南运河的计划，一方面是等待救援，另一方面控制此处可以利用运河之势，进退主动。但这时，退据坚守的太平军也等来了清军的层层包围，随着天气的转冷，加上胜保、僧格林沁两部的推进，形势对太平军也越来越不利起来。
（本文原创：史说新传，部分图片源自网络）