Ja.
Die Seitzfenster werden ja dadurch befestigt, dass man sie durch aneinanderschrauben der beiden Rahmenteile an die Wand klemmt und ggf. je nach Wanddicke noch einen Hilfsrahmen braucht.
Der Ausschnitt im Isoliermaterial muss also größer sein als der Fensterausschnitt, wenn Du innen auf der Wand noch isolieren willst.