Pelo que ouvi, você não pode realmente removê-lo do repositório. Além disso, você realmente não deveria. Alguém em algum lugar ainda pode estar usando o código e pode precisar do repositório para referência. Ou pode ser uma boa ferramenta educacional mais adiante.
Mas se você quiser parar de apoiá-lo (ou seja, abandonar o plug-in), há algo que você pode fazer ...
Carregue um novo arquivo leia-me no repositório explicando que você não está mais desenvolvendo ou suportando o plug-in. Torne a mensagem grande e a primeira coisa que as pessoas verão no readme. Certifique-se também de colocar uma referência na descrição do arquivo PHP principal do plug-in, explicando que não haverá versões futuras.
Se, no futuro, outro desenvolvedor quiser assumir, você poderá atribuí-los como o proprietário do repositório. Caso contrário, ele ficará nos arquivos com seu "Este plug-in não é mais suportado ou está sendo desenvolvido ativamente!" mensagem para avisar as pessoas.