幼年吕文成饱尝生活艰辛,父亲是位制饼师,他本人很小时就曾在银器匠店当童工。做童工期间,附近茶楼时常表演各种粤剧和粤曲,吕文成耳濡目染,从小就爱上粤曲,并由此完成音乐启蒙 。
清末民初,上海音乐活动频繁,吕文成获得音乐学习的机会,他从旅沪广东人处接受岭南文化尤其是粤乐熏陶,同时接受江南丝竹以及西方音乐的影响,杨新伦曾回忆,上广肇义学时,他已听到吕文成演奏二胡了。上海当时有很多乐社组织,吕文成特意选择在一家较大规模的粤乐班做杂工,闲时也和乐班一同演奏,音乐技艺日臻成熟。吕文成最喜欢的乐器是二胡及扬琴 。