Можно, если ты точно знаешь конечный адрес изображения на будущем сайте, например положив его в папку public\static(итп, в зависимости от сборрщика).
Путь от корня:
<img alt={"mainLogo"} className={"img"} src="/images/misc/main.png"/>
Или там, где PUBLIC_URL - путь от корня:
<img alt={"mainLogo"} className={"img"} src={process.env.PUBLIC_URL + "/images/misc/main.png"}/>
Использование import делает магию:
import mainLogo from '../images/misc/main.png';
в зависимости от настроек преврашается в в строку:
'/images/misc/main.8d97f836-e379-4a5a-a63b-27f65505d701.png'
и перекладывает в соответстующую папочку.
А может если картинка маленькая превратить в строку:
'data:image/png;base64,SGVsbG8sIFd ... vcmxkIQ=='
И файла вообще нет.
Ну и множество дополнительных возможностей, типа пожатия картинок, нескольких версий по размерам, преображения svg в управляемые компоненты итд итп.