1939年（民國二十八年）日本正式發動侵華戰爭已經進入第三年，為了遂行大東亞共榮圈的美夢，開始改變對台灣的殖民統治觀念。先前視台灣人為次等國民，對台灣民俗並未積極干涉。此時為了強化對台灣的統治，開始執行所謂「皇民化運動」，一方面積極以稅收等相關配套鼓勵台灣人改姓日本姓，一方面也禁止民間宗教活動繼續進行。希望藉此切斷台灣與中國之間的文化臍帶，以便台灣成為日本的第五個島嶼。
當禁止三元宮的所有廟務活動，甚至要焚毀所有牌位及沒收香爐的消息傳到湖口時，鄉裡的士紳與香公阿土旦共同商議如何面對這一前所未有的變局。最後葉屋代表提議，也得到眾人的贊同，便將三官大帝之神位及香爐搬到近在咫尺的葉屋公廳內，仍由張土父女焚香祭掃，但是所有公開活動完全停止。
沒有三官大帝的三元宮，固然是湖口的一大創傷，倒是對天真無邪的孩子們卻不失為好消息。原本三元宮就是大人們聊天下棋、孩子們嬉戲的場所，先前孩子們遊戲的範圍總是以過水廊、天井及三川殿，神聖的正殿可是誰也不敢放肆的。而今三官大帝不在殿上，整座三元宮成為最好的「爌人尋」場所，孩子們甚至肆無忌憚地雙腳分別撐住神龕牆壁與金柱，大喇喇地攀爬到天花板。
回頭想想，其實也莫怪孩子們頑皮。三元宮不是因為神位香爐被移往葉屋，才成為孩子們的遊戲場所，實際上它一直就是村民休閒娛樂的重要場所。即使日本投降、台灣光復之後，三官大帝重回正殿，祭典也隆重的重新開辦，但是三元宮依舊提供村民休閒娛樂的場所。在新街街尾的戲院開幕前，三元宮就是一個臨時的戲院。通常這裡演出所謂「大戲」之類京劇，偶爾也有客家三角戲。每回演出總能招徠村民大方掏出鈔票進場，倒是頑皮的孩子們一樣會利用開演之後，四下漆黑之際，偷偷拉高門檻，從門檻下鑽進廟內看白戲。