先簡單說結論
勞基法第32條第4項的「正常工作時間以外」，指的是延長工時
包括工作日超過8小時以後（變形工時則可能是9小時或10小時後）、休息日、國定假日超過8小時以後
勞基法第40條的「假期」，指的是例假日、國定假日、特別休假
勞基法第40條第1項：
因天災、事變或突發事件，雇主認有繼續工作之必要時，得停止第三十六條至第三十八條所定勞工之假期。但停止假期之工資，應加倍發給，並應於事後補假休息。
看起來似乎是包括第36條的例假日、休息日；第37條的國定假日、第38條的特別休假
條文特別指出了「假期」，但哪些是「假期」？
搭配勞基法第39條：
第三十六條所定之例假、休息日、第三十七條所定之休假及第三十八條所定之特別休假，工資應由雇主照給。雇主經徵得勞工同意於休假日工作者，工資應加倍發給。
沒出勤的狀況下，第36條～第38條的各種日子，工資都照給
「休假日」出勤，工資加倍。
休假日定義在勞基法施行細則第24-3條：
本法第三十九條所定休假日，為本法第三十七條所定休假及第三十八條所定特別休假。
所以第39條的工資加倍，指的是國定假日和特別休假加班費，並不含例假日和休息日
因為例假日不可出勤，除非第40條的天災事變突發事件
而休息日看勞基法第36條第2項：
雇主使勞工於休息日工作之時間，計入第三十二條第二項所定延長工作時間總數。但因天災、事變或突發事件，雇主有使勞工於休息日工作之必要者，其工作時數不受第三十二條第二項規定之限制。
休息日出勤是「延長工時」，不是假期
天災事變突發事件出勤，不受正常工時+延長工時最高12小時限制，但仍是「延長工時」
（當然，您提到的勞基法施行細則第20-1條，也已明確指出）
也因此，休息日出勤的加班費不是勞基法第40條的「加倍發給」
而是連同其他延長工時，規定在勞基法第24條裡的「加倍發給」
勞基法第40條的「假期」，指的是例假日和休假日，沒有休息日
