Видалити світлину яка використовується в pictureBox
GC.Collect();
GC.WaitForPendingFinalizers();
File.Delete(picturePath);