Став главой мукденской группировки, Чжан Цзолинь при поддержке японцев к 1920 году взял под свой контроль Пекин. Тогда же лидеры чжилийского клана Цао Кунь и У Пей-фу начали войну против аньфуистской группировки Дуань Цижуя. Чжан Цзолинь, давно мечтающий расширить свое влияние за пределы Северного Китая, присоединился к чжи-лийцам, после чего Дуань Цижуй потерпел поражение и бежал в Японию. В результате в июне 1920 года в Пекине было создано правительство сверхдуцзюней во главе с Цао Кунем, У Пейфу, Чжан Цзолинем и Ван Чэньюанем. Впрочем, этот союз оказался непрочным, и уже в декабре 1921 году Чжан Цзолинь был вынужден оставить Пекин и отвести свои войска в Маньчжурию. Но отказываться от своих планов он не собирался и, заключив союз с Сунь Ятсеном, в апреле 1922 года начал войну против чжилийской группировки. Однако уже в июне генерал У Пейфу, которого поддерживали англичане и американцы, разгромил войска Чжан Цзолиня и Сунь Ятсена, после чего последний был ненадолго отстранен от власти и бежал из Кантона (Гуан-чжоу) в Шанхай.
Поражение в войне с У Пейфу и слабость Японии на международной арене заставили Чжан Цзолиня выдвинуть лозунг «реорганизации Маньчжурии» с целью увеличения военно-экономического потенциала и достижения относительной экономической независимости. Его программа экономического развития Маньчжурии предусматривала активное использование природных ресурсов северо-восточных провинций, освоение пустующих земель, развитие промышленности и транспорта, улучшение системы образования. Кроме того, Чжан Цзолинь и вернувшийся в феврале 1923 года в Кантон Сунь Ятсена начали искать новых союзников. Таким мог стать Советский Союз, и весной 1923 года Сунь Ятсен послал в Москву делегацию во главе с Чан Кай-ши. Результатом этой поездки стало принятое в июне 1923 года III съездом компартии Китая решение о вступлении КПК в Гоминьдан при сохранении политической и организационной самостоятельности. А 26 января 1924 года Сунь Ятсеном и советским представителем в Китае Адольфом Иоффе было подписано советско-китайское соглашение, после чего для оказания помощи гоминьдановскому правительству в Кантон была направлена группа советских политических консультантов под началом Михаила Бородина, а в мае в Вампу при участии советских специалистов была открыта военная школа. Контролировавший центральное правительство в Пекине У Пейфу, увидев в сближении Сунь Ятсена с Москвой опасность для своей власти, также приступил к урегулированию отношений с СССР. И уже 31 мая 1924 года в Пекине было подписано соглашение «Об общих принципах урегулирования вопросов между СССР и Китайской республикой».
Однако Кремль уже сделал свой выбор, на который в немалой степени повлияло объединение Гоминьдана и КПК. 20 сентября 1924 года в Мукдене СССР заключил с Чжан Цзолинем соглашение о Китайско-Восточной железной дороге (КВЖД), по которому дорога переходила под совместное советско-китайское управление. А уже в конце сентября, согласно достигнутым договоренностям, СССР предоставил Китаю (точнее, правительству Сунь Ятсена) заем в 10 млн юаней и начал поставлять оружие для формирующейся Народно-освободительной армии Китая. Кроме того, в октябре 1924 года в Гуаньчжоу прибыли первые советские военные советники во главе с В. Блюхером.
Заручившись таким образом поддержкой СССР, Чжан Цзолинь и Сунь Ятсен в сентябре 1924 года начали очередной поход против У Пейфу. Однако наступление кантонской армии на север окончилось поражением, что, правда, не спасло У Пейфу, так как против него выступил один из генералов чжилийской группировки Фын Юйсян, заявивший о своей поддержке национально-революционных идей Сунь Ятсена. В результате У Пейфу был разбит и оставил Пекин, после чего Чжан Цзолинь и Фын Юйсян сформировали новое правительство во главе с Дуань Цижуем. В декабре 1924 года в Пекин прибыл Сунь Ятсен, предложивший собрать Национальное собрание с целью объединения Китая. Но 12 марта 1925 года он скоропостижно умер, после чего между «провинциальными милитаристами» вновь началась борьба за власть.
Осенью 1925 года сторонник У Пейфу генерал Сунь Чу-аньфан выступил против Чжан Цзолиня и в октябре захватил Шанхай. А в ноябре «национальная армия» Фын Юйся-на заняла Пекин. Положение мукденских войск осложнялось еще и тем, что в ноябре в Маньчжурии против Чжан Цзолиня поднял мятеж генерал Го Сунлин, войска которого быстро приближались к Мукдену. При этом советский управляющий КВЖД А. Иванов, следуя указаниям Кремля, который после смерти Сунь Ятсена не считал более Чжан Цзолиня своим союзником, пытался воспрепятствовать переброске фыньтяньских войск из Цицикарской провинции под Мукден. Однако японцы не могли допустить разгрома своего верного союзника и оказали Чжан Цзолиню военную помощь. В результате Го Сунлин потерпел поражение, был схвачен японцами и расстрелян. Это сильно ослабило позиции Фын Юйсяна, тем более что Чжан Цзолинь и У Пейфу под нажимом Японии и Англии в декабре 1925 года заключили между собой союз для «борьбы с красными» и перешли в наступление на Пекин и Тяньцзинь. Итогом этого союза стало поражение войск Фын Юйсяна и кантонской Народно-освободительной армии, которая в июле 1926 года предприняла очередной поход на Север.
Боевые действия против Фын Юйсяна и Чан Кайши потребовали от мукденской группировки максимального использования всех имеющихся в ее распоряжении ресурсов, в том числе и КВЖД. Поэтому неудивительно, что в январе 1926 года на КВЖД возник острый конфликт по вопросу об уплате за мукденские военные перевозки по железной дороге. Согласно установленному порядку за эти перевозки должна была вноситься плата в размере 50 % обычного тарифа, но мукденские военные власти ничего не платили. К концу 1925 года долги за перевозки составили 14 млн руб., и 1 декабря 1925 года управляющий КВЖД А. Иванов издал приказ о запрещении впредь бесплатно пользоваться железной дорогой для воинских частей и грузов. Но, вместо того чтобы уладить проблему мирным путем, Чжан Цзолинь пошел на обострение ситуации — 16 января 1926 года отряд китайских солдат захватил поезд на станции Куанченчзы, запретив отправление груженого состава. 17 и 18 января китайское военное командование самовольно отправляло поезда, угрожая железнодорожным бригадам расстрелом в случае отказа. 21 января Иванов издал приказ № 128 о прекращении движения по КВЖД от Харбина до Куанченцзы, тем более что в результате действий китайской военной администрации вся Южная ветка дороги была парализована. В ответ 22 января он был арестован, что означало фактический захват Чжан Цзолинем КВЖД.
Конфликт Чжан Цзолиня с Москвой приобретал все большую остроту. Весной 1926 года Чжан Цзолинь заявил, что не признает Карахана полпредом Советского Союза в Китае, и потребовал его отзыва. Тогда советское руководство сделало попытку надавить на Чжан Цзолиня.
16 апреля по предложению И. Сталина политбюро ЦК ВКП(б) приняло специальное решение, в котором, в частности, говорилось: «Направить немедленно т. Серебрякова в Мукден и обязать его требовать от Чжан Цзолиня гарантий, заявив ему, что ответственность за бесчинства в отношении нашего полпредства в Пекине будет нести лично Чжан Цзолинь». Кроме того, Л. Серебрякову была дана специальная инструкция, которая предписывала «при переговорах указать Чжан Цзолиню на то, что известные японские круги согласны на замену Чжан Цзолиня другим буферным генералом, но что мы не усматриваем оснований к замене Чжан Цзолиня другим лицом при условии установления нормальных отношений»
[46]. Однако договориться с Чжан Цзолинем не удалось. В июне 1926 года он встретился в Пекине с У Пейфу для обсуждения дальнейших планов совместной борьбы с красными, а 21 августа 1926 года предъявил Правлению КВЖД следующие требования: передать мукденским властям все суда КВЖД и закрыть учебный отдел дороги. И, несмотря на протесты советской стороны, в сентябре маршал осуществил свои угрозы.