他们不适合的另一个原因是他们对阿道夫·希特勒和纳粹的同情，尽管法西斯主义在20世纪30年代的英国贵族中并不是一个不受欢迎的政治立场。

沃利斯和爱德华在第二次世界大战前会见德国独裁者的照片甚至出现了，但这对夫妇最终在法国定居。

他们被称为温莎公爵和公爵夫人，一直住在巴黎附近的法国别墅里，直到1972年爱德华去世，而沃利斯则独自住在那里，直到1986年去世。