seu problema não é com as páginas de administração, elas simplesmente não são grandes o suficiente para serem extremamente impactadas pela conexão lenta, mas com arquivos JS e CSS. Você pode definir uma data de expiração para eles, que irá sinalizar para o navegador que pode armazená-los em cache até esse momento.
Para armazená-los em cache por uma semana no seu arquivo .htaccess add (idéia tirada de askapache )
# 1 WEEK
<FilesMatch "\.(jpg|jpeg|png|gif|swf|js|css)$">
Header set Cache-Control "max-age=604800, public"
</FilesMatch>
O parâmetro max age especifica o tempo em segundos após o qual o URL precisa ser buscado novamente.
Se isso não for bom o suficiente, talvez porque o cache do seu navegador esteja cheio com outros arquivos acessados com mais frequência, então você deve instalar um proxy de cache no seu PC, configurá-lo para sempre armazenar em cache JS e CSS do seu site e configurar o navegador para usar o proxy.