Det var vist meget almindeligt i "gamle dage" at sætte vinduerne i, inden der blev muret op, så mon ikke dine vinduer er de originale. Så blev det lavet som du beskriver - uden fuge, og murstenene helt ind til vinduet.
Det er jo kun på indvendige side din fuge skal være damptæt, ydersiden skulle gerne være diffusionsåben.
Jeg vil foreslå at fræse en fuge i murværket omkring dit vindue på indvendige side, og så lave en ordentlig tæt fuge.