Como você provavelmente sabe, pode haver várias razões para sua conexão FTP ser lenta. Com a finalidade de responder a essa pergunta, presumo que você tenha uma quantidade enorme de arquivos ou que você ou seu host tenham uma conexão de internet muito lenta.
Pessoalmente, quando estou lidando com um grande número de arquivos, tenho a tendência de compactar os arquivos (tar / zip) e depois iniciar a transferência. No entanto, pode ser que o seu host tenha restringido esse recurso, caso em que você provavelmente tem um painel de controle baseado na web fornecido pelo seu host. Na maioria dos casos, descobri que esses painéis de controle permitem que você inicie um backup e baixe esse arquivo compactado que, esperamos, possa ser extraído e usado. Também é possível (ainda que menos provável) que você possa fazer o upload e descompactar um arquivo assim.
Esta é a única sugestão ampla que posso fornecer a você, dada a informação disponível.
Se sua pergunta foi direcionada para encontrar uma solução para backups contínuos / rotineiros, sugiro explorar o rsync (backups incrementais) que utilizamos em 20 servidores. Se você não está familiarizado com o rsync ou parece envolver-se muito neste momento, eu recomendo strongmente o jungledisk (a edição do servidor) que basicamente pré-forma a mesma coisa e faz o backup de todos os dados para a nuvem. Essas duas ferramentas, no entanto, provavelmente exigem que você tenha acesso root ao seu VPS.
Para soluções de backup de rotina mais básicas, eu procuraria no wordpress.org, como eu me lembro de ter visto alguns plugins, incluindo aqueles que fazem o autobackup mysql.
Boa sorte: -)