Harbin selv har ikke en lang historie som by i modsætning til de fleste andre kinesiske byer. Området havde fiskerlejer, indtil russerne begyndte at bygge en jernbane ind i dette område i 1897. Russerne ønskede en genvej gennem dette område. I 1896 gav Qing-imperiet en byggekoncession til Rusland for at bygge den kinesiske østlige jernbane i det nordlige indre Manchuriet. Så byggede russerne en by til at huse det personale, der hjalp med at bygge jernbanen. Da jernbanen blev åbnet i 1901, boede jernbanepersonale i byen. Indbyggerne omfattede mange russiske jøder, som flygtede til dette område under de russiske pogromer. Derefter slog mange tusinde andre jøder sig ned der, og de tog en ledende rolle i opførelsen af den nye bys bygninger, virksomheder og skoler. En rekord viser, at Harbin havde i alt omkring 70.000 mennesker omkring år 1913, som for det meste var russiske, men mange mennesker af snesevis af andre nationaliteter boede der også. I løbet af 1910'erne og 1920'erne flyttede omkring 150.000 russere dertil for at flygte fra Rusland, og der var et forsøg fra hvide russere på at gøre byen til en base i det østlige område af Rusland. Tusindvis af jøder og andre mennesker flyttede dertil for at undslippe fascisterne i Europa i løbet af 1930'erne og 1940'erne.
De hundredtusindvis af europæere, der bosatte sig der, rejste af forskellige årsager i løbet af 1930'erne, under den japanske invasion og bagefter. Japanske tropper besatte Harbin i 1932, og det tidligere Sovjetunionen solgte den kinesiske østlige jernbane til japanerne. Der var en udvandring af russere til det tidligere Sovjetunionen og andre steder. Under en besættelse af Harbin af den sovjetiske hær fra august 1945 til april 1946 blev tusindvis af russere, der flygtede fra det tidligere Sovjetunionen, tvunget tilbage. Andre russere og de europæere, der boede der, flyttede tilbage til deres egne lande eller til USA, Australien, Brasilien eller Israel.