Su origen se remonta hace más de mil años siendo una derivación del xiqin que, según la enciclopedia sobre música Yue Shu escrita por Chen Yang en la dinastía Song (960-1279) y se cree habría llegado en el siglo X aproximadamente.
De su nombre en hànzì二胡 (en pinyin: èrhú), primer carácter del nombre del instrumento (二, èr, dos) se cree podría provenir ya sea del hecho que tiene dos cuerdas o del hecho que es el segundo huqin más alto en altura después del gaohu en la orquesta china. A su segundo carácter (胡, hú) se cree se le atribuye que es debido a que es miembro de la familia huqin, nombre que literalmente significa «instrumento bárbaro» y que el instrumento probablemente tiene su origen en las regiones norte u occidentales de China, habitadas por población no perteneciente a la etnia han.
Al comienzo el erhu, al igual que otras cítaras Chinas como el xiqin, el yazheng, el yaqin y el ajaeng coreano, se tocaba originalmente con una vara con colofonia, la cual creaba la fricción necesaria con la cuerda, sin embargo tan pronto llegó el actual arco de crin de caballo a Asia se extendió su uso, esto gracias a los pobladores de la zona central del continente asiático que se encontraban en la ruta de la seda por lo cual los bienes e innovaciones se extendían rápidamente por toda Eurasia.
Cuando China aprobó su ley de protección a especies en peligro de extinción, ratificando la convención CITES de la ONU, haciendo ilegal el uso y comercio sin permiso de pitones en 1988. Debido a esto la fabricación del erhu, por ley, a partir del 1 de enero del 2005 exige que los erhus tengan un certificado indicando que no fue construido usando piel de pitones salvajes sino de pitones criados en granjas y quienes deseen sacar uno del país asiático tiene un límite de dos ejemplares y en caso de ser con propósitos comerciales se necesitaría un certificado de exportación