Введите в курс насчет оформления robots.txt
 

Такая задачка, требуется запретить индексирования некоторых категорий и продуктов на сайте, скажите что для этого лучше использовать файл robots.txt или же на запрещенных URL добавлять

<meta name="robots" content="noindex">

какой метод лучше? для данной задачи? прочитал статью что для данной задачи не нужно оформлять robots.txt а юзать <meta .....

Оба метода одинаково эффективны, т.к. одинаково воспринимаются поисковыми машинами.
Но один раз написать Disallow /razdel в Robots.txt проще, чем каждой нужной странице дописывать meta-теги.