當甲午之役後，清室割讓台灣，日方將宗祠徵用為武德殿及興建台灣總督府，陳氏家廟被迫拆除，陳氏族人先將祖先神位暫遷至陳雲林的私宅，後又遷到瑞記茶行陳瑞星的住處供奉；另一方面，經陳氏族人不斷向日本政府抗爭、陳情，後來才同意重劃大稻埕下奎府町陸軍用地(今寧夏路二十七號)，用資交換，另建一陳姓宗祠，做為祖堂新址。

 宣統三年辛亥(1911年)在陳廷植、陳江流及陳瑞星等人的發起下，陳氏族人不惜鉅資，遠自福州聘請工匠及採購建材，由大稻埕慈聖宮的重建匠師陳應彬於民國元年(1912年)主持重建，至民國3年甲寅(1914年)完工，落成後除恭迎先祖三神主歸座，並進奉孔聖一再以大孝稱道的陳族太始祖帝舜重華公。

　　日治時期，日政府曾全力推動皇民運動，獎勵說日語以及變更姓名為日式姓氏，威迫利誘，無所不用其極，獨陳氏族人賴此一宗祠為精神維繫，從沒有變節忘祖之行為發生。宗祠之功，至此益見其偉。