Все кодированные кадры потока видеоданных состоят из образующих матрицу точек (пикселей). Видеокодек отслеживает похожие группы точек с идентичными характеристиками (например, цвет фона на изображении). Вместо фиксации информации о каждой точке (цвет, яркость), в следующих кадрах программа отдельно записывает только ключевой пиксель, а также счетчик с количеством повторений этого пикселя до момента изменения его цвета. Качество изображения при этом достигается определением такой величины, когда при незначительном различии между точками они считаются идентичными.
По вышеперечисленному алгоритму работают простейшие видеокодеки. Более сложные программы учитывают также принципы движения групп точек, из которых строится изображение, его сегментирование с различным качеством сжатия, использование последовательности кодированных разными способами кадров, представленных в определенном порядке.
Новейшие кодеки ориентированы на психофизические особенности восприятия видео органами зрения человека, его нервной системой, что позволяет максимально уменьшать размер данных без ущерба качеству.