民國六十年代（1970年）因為都市計畫的關係因素，廣大的遂園被馬路分割成數塊，除了建築本體之外，其他區域陸續被販售，或捐出來成立公設部門或公共建設，遂園由原本二公頃大小，至今佔地僅剩五百坪。民國83年（1994年），黃清舞先生往生後，他的子孫都居住北部或國外，這裡人跡不再，美麗的宅第逐漸被荒煙蔓草給淹沒了，讓人不勝唏噓。