Без утилит. На XP работает.
Код:

@echo off
set "FileName=file.jpg"
wmic process where "commandline like '%%%FileName%%%' and name='rundll32.exe'" call terminate >nul
Есть ограничение, оказывается.

Если открыть нужный файл, не закрывая программу просмотра после предыдущего файла, то не срабатывает.