"...Если у нас в расписании файлы mp4, то и сжатие для IP-потока на выходе, наверное, тоже должно быть AVC?..."
Нет, не обязательно. Тип файлов в расписании никак не связан с типом сжатия в IP-потоке. Сейчас действительно в основном используется сжатие AVC. Но обязательно нужно получить подтверждение у кабельного оператора.