本水庫興建始於民國31年，於民國33、34年連遭洪災破壞而中止，台灣光復後由省公共工程局接收續建，民國36年建設廳水利局成立後更加緊興辦，於民國42年完工。阿公店水庫為台灣唯一以防洪為主要標的之水庫，大壩全長2.38公里，為台灣最長者。

　　目前本水庫正辦理更新計畫，除進行大規模庫底浚渫外，並興建越域引水路引旗山溪水及實施集水區養豬廢養，以增本水庫給水功能；更新計畫並增設全台水庫唯一的越域排洪道，可將百年以上頻率洪水排放於二仁溪；更新計畫預定民國94年完工。