1997年,在一次村小学运动会上,吕小军参加田径短跑比赛拿了第一名,不久被潜江市体校看中。
1998年,吕小军开始在湖北省潜江市体校开始举重训练, 教练是举重班教练邓明虎。2002年 ,进入天津市举重队 ;2003年首次进入国家举重队 ,练习69公斤级 。
2004年5月份,年仅19岁的吕小军在白俄罗斯首都明斯克举行的世界青年举重锦标赛一举夺冠。不过之后一年,由于伤病、状态不佳,再加上中国男举69公斤级人才济济,吕小军一直无缘成年世界大赛。
2005年,吕小军开始升级到77公斤级,后再次进入国家队,并师从奥运冠军廖辉的教练于杰 。