Multiple description coding for path viversity video streaming

Abstract

In the current heterogeneous communications environments, the great variety of multimedia communications combined with fast evolution of networking architectures and topologies, give rise to new research problems related to the various elements of the communication chain. This includes, the ever present problem in video communications, which results from the need for coping with transmission errors and losses. In this context, video streaming with path diversity appeared as a novel communication framework, involving different technological fields and posing several research challenges. The research work carried out in this thesis is a contribution to robust video coding and adaptation techniques in the field of Multiple Description Coding (MDC) for multipath video streaming. The thesis starts with a thorough study of MDC and its theoretical basis followed by a description of the most important practical implementation aspects presented in available literature. Additionally, a review of Multiple Description (MD) video coding is presented, where the relevant methods recently developed regarding this issue are explained, covering different video coding approaches. In MDC, a video signal is typically encoded into several independent descriptions, i.e., compressed streams, where each one can be delivered over different channels making use of path diversity communication environments. A high quality video representation is achieved when all descriptions are available at decoder, whereas a lower but still acceptable quality is obtained when only one description is received. These interesting features of MDC are investigated in this thesis and compared to classic Single Description Coding (SDC). A research evaluation study of MDC for Advanced Video Coding (AVC) in regard to coding efficiency, distortion and error resilience is presented. Starting with open-loop MD video coding architectures, this study evaluates the effects of distortion propagation that happens when individual decoding of each description is performed. A novel multi-loop architecture for AVC is then proposed, which prevents drift distortion accumulation, generating a controlled amount of additional information. In particular, the MD video coding architecture is based on Multiple Description Scalar Quantization (MDSQ), including a new method for generating descriptions with different rates, i.e. unbalanced descriptions. This research extends the current state-of-the-art methods using balanced MDSQ, developing new MDC capabilities in different application scenarios without losing coding efficiency neither robustness. This thesis also extends the current concept of multiple description coding (MDC) to the compressed domain, by proposing efficient splitting of standard single description coded (SDC) video into a multi-stream representation. A novel multiple description video splitting (MDVS) scheme was developed to operate at network edges, for increased robustness in path diversity video streaming across heterogeneous communications chains. The proposed scheme is able to effectively control drift distortion in both intra and inter predictive coding, even when only one description reaches the decoder. This is achieved by generating a controlled amount of relevant side information to compensate for drift accumulation, whenever any description is lost in its path, achieving significant quality improvement at reduced redundancy cost. Additionally, and taking into account the new achievements, a novel high-accurate rate control method is proposed for MDSQ video coding. Known models based on linear relation between the output rate and the percentage of zeros of the quantized transform coefficients are extended to MDSQ video coding. In particular, this research demonstrates that the linear relation is maintained when MDSQ is used, making possible its use in linear rate control methods for MDC. Taking into account the balancing rate between descriptions, i.e. the percentage of the overall rate that is given to each description, this new method has the ability to choose the appropriate coding parameters to accurately achieve the target MD bitrate. Overall, the new methods investigated in this thesis along with the good performance obtained from the experimental results, demonstrate the relevancy of its contribution to the field of MDC and practical usefulness in new robust multimedia services and applications using path diversity channels.

Nos ambientes heterog´eneos das redes de comunica¸c˜ao acuais, a grande variedade de tecnologias de rede, assim como a r´apida evolu¸c˜ao das suas arquiteturas e topologias, tem dado origem ao aparecimento de novos m´etodos que permitam solucionar os problemas de erros de transmiss˜ao e perdas. A difus˜ao de v´ıdeo com diversidade de canais ´e vista como um esquema interessante de comunica¸c˜ao para fazer face a este cen´ario, envolvendo v´arios aspetos tecnol´ogicos e colocando tamb´em v´arios desafios para investiga¸c˜ao. Enquadrandose neste contexto, esta tese apresenta novas t´ecnicas de codifica¸c˜ao e adapta¸c˜ao de v´ıdeo com robustez a erros usando Codifica¸c˜ao de V´ıdeo com M´ultiplas Descri¸c˜oes (MDC) Esta tese faz um estudo das t´ecnicas MDC existentes, abordando o assunto nos seus aspetos te´oricos, como tamb´em descrevendo os aspectos relacionados com a sua implementa ¸c˜ao. Adicionalmente, a tese apresenta uma revis˜ao da literatura das aplica¸c˜oes MDC no contexto de codifica¸c˜ao de v´ıdeo. Esta t´ecnica de codifica¸c˜ao consiste na representa¸c˜ao de uma fonte de v´ıdeo por v´arios fluxos independentes i.e., descri¸c˜oes, podendo ser descodificados com uma qualidade aceit´avel. No entanto, estes fluxos podem ser conjugados entre si, obtendo-se uma qualidade de reconstru¸c˜ao mais elevada. Esta caracter´ıstica interessante do t´opico MDC ´e investigada nesta tese, comparando o seu desempenho com a codifica¸c˜ao tradicional de descri¸c˜ao ´unica. Neste trabalho, ´e realizada uma avalia¸c˜ao de desempenho da aplica¸c˜ao das t´ecnicas MDC em Codifica¸c˜ao Avan¸cada de V´ıdeo(AVC), tendo em conta a eficiˆencia de codifica¸c˜ao, a distor¸c˜ao e a resiliˆencia a erros. Partindo de arquiteturas MDC para v´ıdeo em malhaaberta e do estudo da influˆencia da propaga¸c˜ao de distor¸c˜ao nos sinais descodificados, este trabalho prop˜oe uma nova arquitetura multi-malha para AVC. Esta permite prevenir a propaga¸c˜ao da distor¸c˜ao quando apenas uma descri¸c˜ao ´e descodificada de forma independente, gerando informa¸c˜ao adicional redundante que permite compensar a propaga¸c˜ao de erros, aumentando significativamente a qualidade de reconstru¸c˜ao das sequencias de v´ıdeo. Em particular, a nova arquitetura permite gerar descri¸c˜oes m´ultiplas baseadas em Quantifica¸c˜ao Escalar (MDSQ), cujos descri¸c˜oes possam ser codificadas com d´ebitos distintos. Este novo m´etodo apresenta-se como uma evolu¸c˜ao do estado da arte dos m´etodos MDSQ em codifica¸c˜ao de v´ıdeo, cujas de descri¸c˜oes s˜ao codificadas com o mesmo d´ebito. Esta tese apresenta tamb´em o conceito de MDC para o dom´ınio comprimido. ´E proposto um novo m´etodo que permite que diferentes fluxos de v´ıdeo possam ser gerados a partir de um fluxo de v´ıdeo comprimido normalizado. Este novo esquema deve operar em n´os de rede que funcionem como pontos de adapta¸c˜ao, de modo a aumentar a robustez a erros em redes e servi¸cos com diversidade de canais em ambientes heterog´eneos. A arquitetura proposta, possui a capacidade de controlar a propaga¸c˜ao de erros na descodifica¸c˜ao de uma descri¸c˜ao, para os v´arios modos de predi¸c˜ao existentes na codifica¸c˜ao. ´E gerada informa¸c˜ao adicional a partir do fluxo de v´ıdeo existente, permitindo assim, o controlo eficiente da propaga¸c˜ao de distor¸c˜ao na descodifica¸c˜ao de uma descri¸c˜ao de forma independente. Tendo como cen´ario de aplica¸c˜ao os novos m´etodos propostos, esta tese apresenta tamb´em um novo m´etodo de controlo de d´ebito para codifica¸c˜ao de v´ıdeo usando MDSQ. O m´etodo proposto adapta os modelos conhecidos de controlo de d´ebito baseados na rela¸c˜ao linear entre o d´ebito de sa´ıda e a percentagem de coeficientes quantificados de valor nulo resultantes da utiliza¸c˜ao de transformadas na codifica¸c˜ao. Este trabalho mostra que a rela¸c˜ao se mant´em quando a opera¸c˜ao MDSQ ´e colocada na malha de codifica¸c˜ao, permitindo a implementa¸c˜ao de m´etodos precisos de controlo de d´ebito no ˆambito de codifica¸c˜ao robusta de v´ıdeo com MDC. O m´etodo proposto tem em considera¸c˜ao o d´ebito que cada descri¸c˜ao deve apresentar escolhendo os parˆametros de codifica¸c˜ao apropriados de modo a atingir de forma precisa o d´ebito global de sa´ıda desejado. Tendo em conta o desempenho dos m´etodos propostos, ´e poss´ıvel afirmar que este trabalho apresenta contributos relevantes na ´area de Codifica¸c˜ao de V´ıdeo com Descri¸c˜oes M´ultiplas, mostrando a sua utilidade em novos servi¸cos e aplica¸c˜oes com robustez a erros onde a diversidade de caminhos possa ser utilizada.