Харбин был основан русскими поселенцами, строителями железной дороги, масштабное строительство которой затеял граф Сергей Юльевич Витте, занимавший в Российской империи должность министра финансов.
Харбин задумывался как крупная узловая станция между Иркутском и Владивостоком. Его стремительное развитие началось после окончания строительства железной дороги. Архитектура города по желанию графа, должна была как можно сильнее подчеркивать присутствие здесь России. Это было воплощено в жизнь, поэтому центр Харбина напоминал любой типичный российский город в средней полосе.
Поначалу это была просто станция Китайско-Восточной железной дороги (КВЖД) с посёлком железнодорожников, но довольно быстро он превратился в немаленький многонациональный город.
Одним из основателей города был Николай Сергеевич Свиягин, руководивший строительством КВЖД. В 1900 году город выдержал осаду ихэтуаней. В 1901 году являлся штаб-квартирой Заамурского пограничного округа Отдельного корпуса пограничной стражи Министерства финансов, созданного на базе Охранной стражи КВЖД. Наряду с китайской в городе была русская администрация и полиция.
В 1910 - 1911 годах город пережил эпидемию чумы. Многие русские покинули Харбин после Русско-японской войны. Но революция 1917-го и последующее поражение белых в Гражданской войне способствовали новой волне миграции. Благодаря бывшим военнослужащим Белой армии, воевавшим в Сибири и на Дальнем Востоке, Харбин быстро пополнялся русским населением. Вскоре здесь уже проживала самая большая русскоязычная диаспора за пределами бывшей Российской империи. Даже валюта в Харбине была своя!
В результате к 1924 году в городе насчитывалось около ста тысяч русских эмигрантов. Как писал архиепископ Нафанаил (Львов): «Харбин был исключительным явлением в то время. Построенный русскими на китайской территории, он оставался типичным русским провинциальным городом в течение ещё 25 лет после революции. В Харбине было 26 православных церквей, из них 22 настоящих храма, целая сеть средне-учебных школ и 6 Высших учебных заведений. Милостью Божией Харбин на четверть века продолжил нормальную дореволюционную русскую жизнь».
1 сентября 1926 года в составе Особого района Восточных провинций была образована отдельная административная единица – «Особый город Харбин».
В 1932 году город был оккупирован Японской императорской армией и вошёл в состав марионеточного государства Маньчжоу-го. 1 июля 1933 года Особый город Харбин был выведен из состава Особого района Восточных провинций и был объединён с городом Биньцзян провинции Гирин и городом Сунпу провинции Хэйлунцзян в новую административную единицу — «Особый город Харбин», подчинённый напрямую правительству Маньчжоу-го.
В 1935 году СССР продал долю собственности КВЖД Маньчжоу-го, после чего отток русских из Харбина существенно увеличился.
В ходе советско-японской войны 19 августа 1945 года Харбин был занят советским воздушным десантом (9-я воздушная армия 1-го Дальневосточного фронта) и моряками Амурской военной флотилии 2-го Дальневосточного фронта, а 20 августа в город вступили соединения 15-й армии 2-го Дальневосточного фронта. Освобождённый от японских оккупантов город перешёл под контроль советской военной администрации.
После вывода советских войск с территории Маньчжурии 28 апреля 1946 года управление городом перешло к новообразованной народно-демократической администрации, контролируемой китайскими коммунистами. Харбин с его 700-тысячным населением и развитой промышленностью стал в то время крупнейшим из городов, находящихся под контролем КПК; во время Гражданской войны 1946-1949 гг. он был центром Маньчжурской революционной базы, сыгравшей в победе коммунистов важнейшую роль.
В 1945-1953 годы Харбин являлся административным центром провинции Сунцзян, а с 1954 года стал центром провинции Хэйлунцзян.
В 1924-1962 годах в Харбине действовало Генеральное консульство СССР. В период существования Маньчжоу-го генеральным консулом СССР длительное время был Михаил Славуцкий.
После основания Китайской Народной Республики роль Харбина как центра тяжёлой промышленности расширилась. В него были переселены многочисленные выходцы из южного Китая. В настоящее время Харбин стал одним из главных перевалочных пунктов в торговле с Россией, чему обязан своим нынешним бурным ростом.