Souljacker,
Primeiramente, dou uma olhada nos seus plugins. Classificações por estrelas para comentários não foi atualizado há mais de 3 anos e parece ser muito pesado no banco de dados. Eu vi alguns sql crus com algumas INNER JOINS que parecem problemáticas.
No lado do servidor, você deve implementar algum cache de objetos. A APC é o padrão e oferece os melhores resultados.
Depois de instalar o APC, alterne para o W3 Total Cache ou Backend de Cache de Objeto APC de Mark Jaquith
As configurações do httpd.conf parecem bem. Pela aparência do seu my.cnf, você não está aproveitando o cache de consulta do MySQL, o cache de threads ou o controle de nenhum dos tamanhos de buffer.
Você pode usar um script de ajuste para ajudá-lo com sua configuração my.cnf. Eu gosto de usar mysqltuner e primer de ajuste também é muito bom.
O Mysqltuner mostrará sugestões e fornecerá algumas diretrizes sobre o que ajustar com base no uso do banco de dados.
No meu servidor com 12G Ram minhas configurações são assim. (Apenas um exemplo, não use essas configurações !!!)
key_buffer = 512M
max_allowed_packet = 32M
thread_stack = 1M
thread_cache_size = 128M
myisam-recover = BACKUP
max_connections = 60
table_cache = 5000
table_definition_cache = 1024
thread_concurrency = 16
# * Query Cache Configuration
query_cache_type = 1
query_cache_limit = 4M
query_cache_size = 48M
max_heap_table_size = 512M
tmp_table_size = 512M
join_buffer_size = 3M
sort_buffer_size = 8M
read_buffer_size = 8M
read_rnd_buffer_size = 8M
myisam_sort_buffer_size =16M
log_slow_queries = /var/log/mysql/mysql-slow.log
long_query_time = 1
Como outros mencionaram a execução do Nginx reduzirá drasticamente a carga em seu servidor se você aceitar as configurações etc. Eu escrevi um tutorial sobre como instalar e configurar Apache com Nginx como proxy reverso
Espero que isso ajude.