diff --git a/modules/hidiffusion/__init__.py b/modules/hidiffusion/__init__.py
index 54568bd66..41a67e9f7 100644
--- a/modules/hidiffusion/__init__.py
+++ b/modules/hidiffusion/__init__.py
@@ -25,6 +25,8 @@ def apply_hidiffusion(p):
         shared.log.debug(f'Applying HiDiffusion: raunet={shared.opts.hidiffusion_raunet} attn={shared.opts.hidiffusion_attn} aggressive={shared.opts.hidiffusion_steps > 0}:{shared.opts.hidiffusion_steps} t1={shared.opts.hidiffusion_t1} t2={shared.opts.hidiffusion_t2}')
         p.extra_generation_params['HiDiffusion'] = f'{shared.opts.hidiffusion_raunet}/{shared.opts.hidiffusion_attn}/{shared.opts.hidiffusion_steps > 0}:{shared.opts.hidiffusion_steps}'
         hidiffusion.apply_hidiffusion(shared.sd_model, apply_raunet=shared.opts.hidiffusion_raunet, apply_window_attn=shared.opts.hidiffusion_attn)
+    else:
+        hidiffusion.remove_hidiffusion(shared.sd_model)
 
 
 remove_hidiffusion = hidiffusion.remove_hidiffusion