Eu costumo colocar os ícones em uma pasta de imagens dentro do meu tema, então eu usaria

function kia_add_favicon(){ ?>
    <!-- Custom Favicons -->
    <link rel="shortcut icon" href="<?php echo get_stylesheet_directory_uri();?>/images/favicon.ico"/>
    <link rel="apple-touch-icon" href="<?php echo get_stylesheet_directory_uri(); ?>/apple-touch-icon.png">
    <?php }
add_action('wp_head','kia_add_favicon');

editado: para adicionar o ícone do Apple Touch pelo comentário e para esclarecer que, se você estiver usando um tema filho, mas o favicon estiver na pasta de imagens do tema pai, você usaria

get_template_directory_url();

se você não estiver usando um tema filho, então irá trabalhar

Eu costumo criar meus favicons aqui: enlace

Na verdade, o método correto para adicionar um favicon é através de um Plugin , para que o favicon adicionado não seja Dependente do tema . Essencialmente, use o método @ helgatheviking, mas coloque-o em um plug-in personalizado , e não no arquivo functions.php do seu tema.

Observação: se você estiver usando um domínio de nível mais alto, por exemplo, example.com , apenas solte favicon.ico na raiz do documento e pronto. Para qualquer outra coisa, crie um Plugin personalizado .

Nota 2: Consulte o Trac Ticket # 16434 . Uma opção de favicon do site está sendo adicionada ao núcleo, e espera-se que uma delas seja lançada na próxima versão 3.4.

Seja paciente, o núcleo está lá para ajudar

Este é um recurso planejado , com dois devs principais atribuídos, que vem com 3,4 .

Muito dependerá do tema que você está usando. Se o tema estiver definindo seu favicon (com uma tag <link> no cabeçalho), será necessário substituir favicon.ico em seu tema para alterá-lo.

Mas se o seu tema não estiver definindo nada, colocar um favicon.ico na raiz do seu site deve ser suficiente.