Наконец-то разобрались, почему подоконники такие холодные: оказывается нужно просто добавить монтажную пену под отлив окна
