徐輝祖は中山王徐達の長男で、世襲で魏国公になった。朱元璋が逝去した後、彼は建文帝を補佐し、京城の国防事務に責任を負った。朱棣は靖難の役を起こし、南京城を打ち破り、徐輝祖が捕虜になった。建文四年(1402)正月十三日、その時、朝廷の武臣は全部朱棣側に帰順したが、ただ徐輝祖は屈服しなかった。翌日、朱棣は自ら徐輝祖を引見し、彼の心を落ち着かせたいと思ったが、徐輝祖は何の言葉も話さないで、屈服の意もなかった。その後、司法部はやむなく徐輝祖に自供させて、徐輝祖は押し黙って拇印を押した。しかしながら、その父は建国の功労者であるから、死を免れるという。朱棣が大いに怒って、徐輝祖の世襲の官職を削除し、その家に軟禁した。永楽五年(1407)、徐輝祖が鬱屈でなくなって、年はまだ四十歳である。
明成祖朱棣の妻の仁孝皇后は徐達の長女である。徐輝祖が免職された後、その家に同情して手助けしたために、仁孝皇后は秦淮両岸の城東の地をその家に与えて野菜畑にした。正徳三年(1508)まで、徐達の六世孫の徐天恩はそこで東園を築いて、また「小蓬山」と称された。それは荘大で立派で、金陵諸園の一番になった。明が滅亡し、東園が没落し、その遺跡は今白鷺洲公園の中にある。