Yip Kai-man (son nom de naissance) est né le 1er octobre 1893 dans le quartier Sanghuan (桑园), à Foshan (sud-est de la Chine), dans le clan Yip (葉) de l'ethnie hakka. Il a pour parents Yip Oi-dor et Ng Shui. Yip a grandi dans une famille aisée de commerçants, et a reçu une éducation traditionnelle chinoise empreinte des préceptes du confucianisme.
Yip débuta l'apprentissage du wing chun à 9 ans, auprès de Chan Wah-shun, qui résidait dans le temple du clan, au centre de la propriété familiale. Il fut le dernier élève du maître, celui-ci l'ayant accepté à l'âge de 70 ans. En raison de la vieillesse de son maître, Yip pratiqua essentiellement auprès de Ng Chung-sok (second plus ancien disciple) et Lui Yu-chai. Chan mourut trois ans après le début de la formation de Yip. Dans ses dernières volontés, il aurait invité Ng à continuer son enseignement auprès de Yip.
À 15 ans, Yip déménagea à Hong Kong, avec l'aide d'un parent, Leung Fut-ting. Un an plus tard, il fréquenta le St. Stephen's College, une école secondaire pour les familles aisées et les étrangers vivant à Hong Kong. Lors d'un incident durant sa période d'études, Yip intervint après avoir vu un agent de police étranger battre une femme. L'agent tenta d'attaquer Yip, mais Yip le terrassa, puis s'enfuit à l'école avec son camarade de classe. Plus tard, son camarade confia cet évènement à un vieil homme vivant dans son immeuble. Yip fut ainsi invité à rencontrer cet homme, Leung Bik, fils de Leung Jan (maître de Chan Wah-shun). Dans un échange d'assauts amicaux, Yip se fit terrasser. Il continua par la suite à apprendre le wing chun, auprès de Leung Bik, découvrant notamment les techniques sophistiquées et les applications théoriques.
À 24 ans, Yip retourne à Foshan. Il rejoint l'armée du parti nationaliste chinois (Kuomintang) durant la seconde guerre sino-japonaise, puis occupe pendant quelques années les fonctions de capitaine des patrouilles de police de Foshan. Il enseigne le wing chun à plusieurs de ses subordonnés, parents et amis, sans ouvrir d'école d'arts martiaux. Certains de ses élèves les plus connus sont Lok Yiu, Chow Kwong-yue (周光裕), Kwok Fu (郭富), Lun Kah (伦佳), Chan Chi-sun (陈志新) et Lui Ying (吕应). Parmi eux, Chow Kwong-yue était considéré comme le meilleur, mais il s'est finalement consacré au commerce et a cessé de pratiquer les arts martiaux. Kwok Fu et Lun Kah continuèrent à enseigner par la suite. L'art du wing chun actuel dans la région de Foshan et de Guangdong a été principalement transmis par ces deux personnes. Chan Chi-sun et Lui Ying déménagèrent plus tard à Hong Kong, mais aucun d'entre eux n'accepta d'étudiant. Yip vécut avec Kwok Fu au cours de la seconde guerre sino-japonaise, et ne revint à Foshan qu'après la guerre, où il poursuivit sa carrière comme agent de police.
En 1949, à l'établissement de la République populaire de Chine par les communistes, Yip âgé de 56 ans, craignant des représailles en raison de ses anciennes fonctions officielles dans l'armée nationale et la police, quitta définitivement Foshan. Il s'installa à Macao, puis à Hong Kong.