咸平故城位于今郑店镇旧乐陵村。遗址长、宽各500米。唐、宋时,县城原在故黄河(鬲津)南,宋熙宁二年(1069年)黄河决堤,迁于此地,草草创城。咸平故城辟为三门,无南门。原城墙内至今尚存有一高丘,传为南宋副相吕颐浩读书处,即“萃贤亭”遗址。清代乡人张了寥曾有《吕相萃贤亭》诗。
元代时,平章政事余潜曾重修城池,于城北郊(今旧乐陵村后)筑“看花台”,台高丈余,可容百人,为文人墨客观花饮宴之所。明代乡人张鹏南诗《元台春草》即咏此。明洪武二年(1369年),县丞何恒以城址地势低洼为由,迁城于富平镇(即今乐陵县城)。