Спасибо друг! Сделал немножко по другому, но ваш вариант очень помог
<Button className={classes.reportBtn} onClick={handleClick}>
{open ? 'Show report' : 'Hide report'}
{open ? (
<ArrowDown className={classes.arrowIcon} />
) : (
<ArrowUp className={classes.arrowIcon} />
)}
</Button>