Eu costumo colocar os ícones em uma pasta de imagens dentro do meu tema, então eu usaria
function kia_add_favicon(){ ?>
<!-- Custom Favicons -->
<link rel="shortcut icon" href="<?php echo get_stylesheet_directory_uri();?>/images/favicon.ico"/>
<link rel="apple-touch-icon" href="<?php echo get_stylesheet_directory_uri(); ?>/apple-touch-icon.png">
<?php }
add_action('wp_head','kia_add_favicon');
editado: para adicionar o ícone do Apple Touch pelo comentário e para esclarecer que, se você estiver usando um tema filho, mas o favicon estiver na pasta de imagens do tema pai, você usaria
get_template_directory_url();
se você não estiver usando um tema filho, então irá trabalhar
Eu costumo criar meus favicons aqui: enlace