Mahjong on sai alkunsa joskus 1800-luvun puolivälissä Ningbossa. Peli kehittyi aiemmin suosituista raha-aiheisista pelikorteista, joiden kolme perusmaata - kolikot, kolikkonarut ja kymmenettuhannet - muodostivat yhdessä alkuperäisen mahjongin. Myohemmin peliin kehitettiin lisää tiiliä: tuulet, lohikäärmeet (yksi kerrallaan) ja bonustiilet (vuodenajat, kukat ym.).
1900-luvun alussa mahjong alkoi levitä ympäri maailmaa. Mahjong tuli Japaniin ensimmäistä kertaa 1909, ja sai kohtalaista suosiota. Vuonna 1929 Japanin mahjongliitto perustettiin säätämään Japanin omia Arushiiaru-mahjongsääntöjä.
Joskus 20-luvun paikeilla Kiinassa keksittiin uusi riichi-niminen kahdennussääntö: jos pelaajan aloituskäsi on yhden päässä voitosta, voi hän päättää olla muuttamatta kättään ja saada täten kahdennuksen voittaessaan. Riichi-sääntö saapui myös Japaniin, jossa sitä kehitettiin edelleen.
Joskus 40-50-luvun vaihteessa keksittiin uusi "keskeneräinen riichi"-sääntö, jonka mukaan riichin voi huutaa koska tahansa kierroksen aikana, kun pääsee suljetulla kädellä yhden päähän voitosta. Japanin mahjongliiton jäsen Amano Daizou julkaisi vuonna 1952 uuden riichi-mahjongin säännöt Houchi shinbun -urheilusanomalehdessä. Liitto tulkitsi keskeneräisen riichin säännön liian uhkapelikeskeiseksi, ja päätti peruuttaa Amanon jäsenyyden.
Niinpä Amano päätti perustaa oman seuran, Japanin tiiliyhdistyksen, ja jatkaa riichi-mahjongin sääntöjen kehitystä.