Многие используют для защиты своих сайтов на WordPress отличный плагин iThemes Security (бывший Better WP Security). И как у многих разработчиков, он у меня установлен в стандартной сборке WP для новых сайтов. Новые вебсайты я сначала делаю на поддомене, а потом переношу на основной домен. И чтобы эти временные тестовые версии не попадали в индекс поисковых систем, я делаю аутентификацию по логину и паролю через файлы htaccess/htpasswd.
Обычного запрета на индексацию в robots.txt (Disallow: /
) недостаточно, т.к. при этом тестовый сайт (а точнее, ссылка на него) все равно может попасть в индекс.