AVI->WebM

"...Можно ли по аналогии сконвертировать файлы AVI с прозрачностью (кодек СофтЛаб-НСК Forward JPEG + Alpha) в WebM..."

Нет, к сожалению, это невозможно. FFmpeg не умеет работать с файлами с таким сжатием.