"...На выходе платы сигнал 1080i. Но файлы нужны 720p. В FDCapture нет никаких настроек для уменьшения размера кадра. Берет разрешение из выходного сигнала. Как сделать?..."
Никак.
Программа FDCapture берёт сигнал с выхода платы с теми настройками, которые для него установлены. Никаких средств масштабирования при записи файлов в программе нет.