Такая задачка, требуется запретить индексирования некоторых категорий и продуктов на сайте, скажите что для этого лучше использовать файл robots.txt или же на запрещенных URL добавлять
<meta name="robots" content="noindex">
какой метод лучше? для данной задачи? прочитал статью что для данной задачи не нужно оформлять robots.txt а юзать <meta .....