O problema vem do fato de que, para exibir páginas e sua hierarquia, o WP precisa carregar todos eles e depois construir a árvore na memória.
Você será salvo se puder converter a maioria dessas páginas em um ou vários tipos de post personalizado não hierárquico.
A estrutura de permalink pode ser emulada.