吕彦直的家族成员
吕彦直的家族中优秀人才很多。他的父亲吕增祥字秋樵。光绪五年考中举人，后在天津李鸿章幕府任文案知县。曾任驻日使馆参赞。历任天津、临城、南宫、献县知县。1900年，任开州知府，1901年因脑瘤卒于任上。吕增祥是严复的亲家、挚友，严复称其是“生死之交”，并誉其为“三绝诗文字，一官清慎勤。”
吕增祥先后娶夫人两房，生三女四子。
长女吕韫玉（字慎宜）嫁著名翻译家伍光建（字昭扆），其第三子伍范字蠡甫，是我国当代著名的翻译家、美术理论家、国画家、西方文论专家，一生著述写作，教书育人，与其父伍光建被称为“中国译坛双子星”。（伍季真《回忆前辈翻译家、先父罩亮伍光建》）中央戏剧燃歼学院教授邓世还（伍光建长女吕莹的女儿），精心保存着太外公吕增祥（秋樵）于1900年赠送给伍光建的一副楹联，上面用隶书写着“艾康万里，厉清八荒”。2010年9月，邓世还将这幅家人已传承了110年却完好如初的珍品，捐赠给了江门市档案局。并向笔者承诺，滁州市如有需要，可赴江门复制楹联。次女吕叔宜（韫清）嫁严复长子严璩（伯玉）。三女东宝嫁晚清外交重臣罗丰禄（稷臣）的侄子。
长子吕彦深（伯远）在外交部工作，长期派驻中南美洲国家，娶严复堂侄女严琦为妻。其外孙女薛晓育保存了吕彦深的手稿，曾于2009年5月27日来滁州寻根问祖。给滁州市琅琊区政协副主席、吕彦直研究专家徐茵带来了吕彦深手稿的照片。三代曾祖如松、祖凤翔、父增祥。“
次子吕彦直（仲宜、古愚）是南京中山陵和广州中山纪念堂、纪念碑的设计者。三子吕彦宏（叔达）。四子吕彦介（季刚）。
吕彦直的姑妈吕汶字鲁东，擅长作诗，有很深的文字物段宽功底。嫁给滁州所辖的来安县的严海帆，时在保定作县令。严海帆是民国才女吕碧城的舅舅。吕碧城的姐姐吕美荪曰：“予舅母严鲁东夫人美而贤，能文章。其兄秋樵明府宰临城、天津，著循声，夫人实佐之。其诗集多长古，惜不能记忆矣。”《安徽名媛诗词征略》收入吕汶诗二首，今录其一：
哭 子 诗
土花漠漠又生苔，今日临风一恸来。
惟有寻香小蝴蝶，伴儿飞去复飞回。
