Создаем новое изображение File/New (Файл/Новый) 300х200 пикселей. Далее переходим во вкладку Chanels и создаем там новый канал. После рисуем на нем то, что собираемся скруглить.
Применяем фильтр Filter/Blur/Gaussian Blur. Параметр Radius устанавливаем в зависимости от желаемого округления. Чем больше значение Radius тем более скругленными будут углы. В примере использовано значение Radius: 10 pixels.
В меню использеум команду Image/Adjust/Levels. В открывшемся окне необходимо переместить крайние треугольники ближе к центральному. Их необходимо расположить так, чтобы изображение было четким, и гладким по краям. Выставляем к примеру такие значения: 120 - 0,20 - 160 и получаем округленые углы.