diff --git a/modules/hidiffusion/__init__.py b/modules/hidiffusion/__init__.py
index 6e5e0df3d..649af8ba8 100644
--- a/modules/hidiffusion/__init__.py
+++ b/modules/hidiffusion/__init__.py
@@ -34,4 +34,5 @@ def apply_hidiffusion(p, model_type):
 
 
 def remove_hidiffusion(p):
-    hidiffusion.remove_hidiffusion(shared.sd_model)
+    if hasattr(shared.sd_model, "unet"):
+        hidiffusion.remove_hidiffusion(shared.sd_model)