1、 Rec. UIT-R BT.1788 1 RECOMENDACIN UIT-R BT.1788 Metodologa para la evaluacin subjetiva de la calidad de vdeo en aplicaciones multimedios (Cuestin UIT-R 102/6) (2006) Cometido Los sistemas de radiodifusin harn posible la distribucin de aplicaciones de radiodifusin de datos y multimedios, incluyendo
2、vdeo, audio, imagen fija, texto y grficos. Esta Recomendacin especifica mtodos de evaluacin subjetiva no interactivos para determinar la calidad de vdeo de aplicaciones multimedios. La Asamblea de Radiocomunicaciones de la UIT, considerando a) que se estn introduciendo sistemas de radiodifusin digit
3、al en numerosos pases; b) que los servicios de radiodifusin de datos y multimedios que comprenden vdeo, audio, imagen fija, texto, grficos, etc. han sido introducidos, o se prev introducirlos, utilizando sistemas de radiodifusin digital; c) que los servicios multimedios implicarn una infraestructura
4、 de radiodifusin caracterizada por el uso probable de receptores fijos y mviles velocidades de cuadro fijas y variables, diferentes formatos de imagen, cdecs vdeo avanzados, prdida de paquetes, etc.; d) que ser necesario especificar los requisitos de calidad de funcionamiento y verificar si las solu
5、ciones tcnicas consideradas son adecuadas para cada servicio teniendo presentes los requisitos de calidad de funcionamiento de dicho servicio; e) que la citada verificacin implicar, principalmente, la evaluacin subjetiva de la calidad de vdeo bajo condiciones controladas; f) que las metodologas de e
6、valuacin subjetiva especificadas en la Recomendacin UIT-R BT.500 se pueden utilizar para aplicaciones multimedios; g) que tambin pueden usarse metodologas de evaluacin subjetiva distintas de las especificadas en la Recomendacin UIT-R BT.500; h) que la adopcin de mtodos normalizados es importante de
7、cara al intercambio de informacin entre varios laboratorios, recomienda 1 que los mtodos generales de prueba, las escalas de apreciacin y las condiciones de observacin para la evaluacin de la calidad de las imgenes descritas en el Anexo 1 se utilicen para las experiencias de laboratorio y, siempre q
8、ue sea posible, para las evaluaciones prcticas de aplicaciones multimedios; 2 que se proporcione una descripcin completa de las configuraciones y materiales de prueba, observadores y mtodos en todos los informes de las pruebas; 2 Rec. UIT-R BT.1788 3 que, para facilitar el intercambio de informacin
9、entre los distintos laboratorios, los datos recopilados se procesen de acuerdo con las tcnicas estadsticas indicadas en el Anexo 2. NOTA 1 La Comisin de Estudio 6 de Radiocomunicaciones debe proseguir con el desarrollo de una biblioteca de material de vdeo adecuado para la evaluacin subjetiva de la
10、calidad de vdeo en aplicaciones multimedios. Anexo 1 Descripcin de los mtodos de evaluacin 1 Introduccin Un gran nmero de pases ha empezado a instalar sistemas de radiodifusin digital que permitirn la distribucin de aplicaciones de radiodifusin de datos y multimedios que comprenden vdeo, audio, imag
11、en fija, texto y grficos. Se necesitan mtodos de evaluacin subjetiva normalizados con objeto de especificar los requisitos de calidad de funcionamiento y de verificar si las soluciones tcnicas consideradas para cada aplicacin son las adecuadas. Las metodologas subjetivas son necesarias porque propor
12、cionan mediciones que permiten a la industria anticiparse de manera ms directa a las reacciones de los usuarios finales. El sistema de radiodifusin necesario para distribuir aplicaciones multimedios es muy diferente del que se usa actualmente: se accede a la informacin a travs de receptores fijos y/
13、o mviles, la velocidad de cuadro puede ser fija o variable; hay una amplia gama de posibles tamaos de imagen (SQCIF a TVAD); el vdeo se asocia tpicamente al audio, texto y/o sonido intercalados; el vdeo se puede procesar con cdecs de vdeo avanzado; y la distancia de observacin preferida depende en g
14、ran medida de la aplicacin. Los mtodos de evaluacin subjetiva especificados en la Recomendacin UIT-R BT.500 deben aplicarse en este nuevo contexto. Asimismo, pueden llevarse a cabo investigaciones de sistemas multimedios mediante nuevas metodologas para ajustarse a los requisitos de usuario de las c
15、aractersticas del dominio multimedios. En esta Recomendacin se describen mtodos de evaluacin subjetiva no interactivos de la calidad de vdeo para aplicaciones multimedios. Dichos mtodos pueden aplicarse para diferentes propsitos, que incluyen, sin ser exhaustivos: seleccin de algoritmos, clasificaci
16、n de la calidad de funcionamiento de sistemas audiovisuales y evaluacin del nivel de calidad de vdeo durante una conexin audiovisual. Los trminos y las definiciones asociados a esta Recomendacin pueden consultarse en el Apndice 3. Rec. UIT-R BT.1788 3 2 Caractersticas comunes 2.1 Condiciones de obse
17、rvacin En el Cuadro 1 se enumeran las condiciones de observacin recomendadas. El tamao y el tipo de visualizacin utilizados deben ser adecuados para la aplicacin sobre la que se est investigando. Como deben emplearse varias tecnologas de visualizacin en las aplicaciones multimedios, es necesario com
18、unicar toda informacin relevante sobre la visualizacin usada en la evaluacin (por ejemplo, fabricante, modelo y especificaciones). Cuando se haga uso de sistemas basados en PC para presentar las secuencias, deben sealarse asimismo las caractersticas de los sistemas (por ejemplo, la tarjeta de visual
19、izacin de vdeo). CUADRO 1 Condiciones de observacin recomendadas empleadas en evaluaciones de calidad de sistemas multimedios Parmetro Ajuste Distancia de observacin (Nota 1) Limitado: 1-8 HIlimitado: basado en las preferencias del espectador Valor de la cresta de luminancia en la pantalla 70-250 cd
20、/m2Relacin entre la luminancia de la pantalla inactiva y la luminancia de cresta 0,05 Relacin entre la luminancia de la pantalla, cuando se presenta nicamente el nivel de negro en una habitacin totalmente oscura, y la correspondiente al blanco de cresta 0,1 Relacin entre la luminancia de fondo detrs
21、 del monitor de imagen y la luminancia de cresta de la imagen (Nota 2) 0,2 Cromaticidad del fondo (Nota 3) D65Iluminacin de fondo de la habitacin (Nota 2) 20 lux NOTA 1 La distancia de observacin depende en general de la aplicacin. NOTA 2 Este valor indica un ajuste que permite la mxima detectabilid
22、ad de las distorsiones; para algunas aplicaciones se permiten valores superiores o vienen determinados por la aplicacin. NOTA 3 Para monitores de PC, la cromaticidad del fondo debe aproximarse lo mximo posible a la de punto blanco de visualizacin. En el Cuadro 2 se muestra un ejemplo del registro de
23、 datos para la configuracin del sistema multimedios sometido a prueba. Si las imgenes de prueba se obtienen por medio de una combinacin decodificador-reproductor especfica, hay que separar las imgenes de la interfaz grfica patentada para lograr una visualizacin annima. Ello es necesario para asegura
24、r que la evaluacin de la calidad no se ve influenciada por el conocimiento del entorno original. Cuando los sistemas evaluados en una prueba utilizan un formato de imagen reducido, como CIF, SIF o QCIF, las secuencias deben mostrarse en una ventana de la pantalla de visualizacin. El color del fondo
25、de la pantalla debe ser gris al 50%. 4 Rec. UIT-R BT.1788 CUADRO 2 Configuracin del sistema multimedios sometido a prueba Parmetro Especificacin Tipo de visualizacin Tamao de visualizacin Tarjeta de visualizacin de vdeo Fabricante Modelo Informacin de la imagen 2.2 Seales fuente La seal fuente propo
26、rciona la imagen de referencia directamente, as como la entrada para el sistema que se est probando. La calidad de las secuencias fuente debe ser la mejor posible. Como referencia, la seal de vdeo debe grabarse en archivos multimedios usando yuv (formatos 4:2:2, 4:4:4) o RGB (24 32 bits). Cuando el
27、experimentador est interesado en comparar los resultados de diferentes laboratorios, es preciso utilizar un conjunto de secuencias comn para eliminar fuentes adicionales de variacin. 2.3 Seleccin de materiales de prueba El nmero y tipo de escenas de prueba resultan crticos a la hora de interpretar l
28、os resultados de la evaluacin subjetiva. Algunos procesos pueden provocar el mismo nivel de degradacin para la mayor parte de las secuencias. En tales casos, los resultados obtenidos con un nmero pequeo de secuencias (por ejemplo, dos) deben proporcionar una evaluacin representativa. No obstante, lo
29、s nuevos sistemas a menudo tienen una repercusin que depende en gran medida de la escena o del contenido de la secuencia. En tales casos, el nmero y tipo de escenas de prueba debe escogerse de modo que pueda generalizarse de manera razonable la programacin normal. Asimismo, el material debe seleccio
30、narse de modo que sea crtico, pero dentro de unos lmites razonables para el sistema que se est probando. Dentro de unos lmites razonables implica que la escena podra todava formar parte del contenido normal de la programacin de televisin. Las caractersticas de percepcin espacial y temporal de una es
31、cena pueden proporcionar una indicacin til de la complejidad de la misma. En el Apndice 1 se presentan con ms detalle las mediciones de caractersticas de percepcin espacial y temporal. 2.4 Gama de condiciones y anclaje Dado que la mayora de los mtodos de evaluacin son sensibles a variaciones en la g
32、ama y distribucin de las condiciones vistas, las sesiones de decisin deben incluir las gamas completas de los factores variados. Sin embargo, esto podra aproximarse mediante una gama ms restringida presentando tambin algunas condiciones que corresponderan a los extremos de las escalas. Pueden repres
33、entarse como ejemplos e identificarse como extremos (anclaje directo), o distribuirse a travs de la sesin y no identificarse como extremos absolutos (anclaje indirecto). En la medida de lo posible, debe emplearse una gran gama de valores de calidad. Rec. UIT-R BT.1788 5 2.5 Observadores El nmero de
34、observadores tras el anlisis debe ser de al menos 15; no expertos, en el sentido de que en su trabajo normal no estn directamente interesados en la calidad de imagen y de que no son evaluadores con experiencia. Antes de una sesin, se debe analizar a los observadores para lograr (o corregir) la agude
35、za visual normal en el grfico de Snellen o Landolt, y la visin en color normal, usando grficos especialmente seleccionados (por ejemplo, Ishihara). El nmero de evaluadores necesario depende de la sensibilidad y la fiabilidad del procedimiento de prueba adoptado, as como del tamao anticipado del efec
36、to buscado. En los experimentos se debe incluir el mayor nmero posible de detalles acerca de las caractersticas de sus paneles de evaluacin para facilitar una posterior investigacin de este factor. Entre los datos que podran proporcionarse figuran los de categora laboral (por ejemplo, empleado de or
37、ganizacin de radiodifusin, estudiante de universidad, empleado de oficina), sexo y edad. 2.6 Instrucciones para la evaluacin Debe familiarizarse detenidamente a los evaluadores con el mtodo de evaluacin, los tipos de degradaciones o los factores de calidad que probablemente se produzcan, la escala d
38、e apreciaciones, y la temporizacin. Las secuencias de entrenamiento que demuestran la gama y el tipo de degradaciones que van a evaluarse deben emplearse con escenas distintas a las utilizadas en las pruebas, pero de sensibilidad comparable. 2.7 Diseo experimental Se deja a criterio del experimentad
39、or la seleccin de un diseo experimental con el que satisfacer los objetivos de coste y precisin especficos. Se recomienda incluir al menos dos reiteraciones (es decir, repeticiones de condiciones idnticas) en el experimento. Las reiteraciones permiten calcular la fiabilidad individual de cada sujeto
40、 y, si fuera necesario, descartar resultados no fiables de algunos sujetos. Adems, las reiteraciones aseguran que los efectos del aprendizaje en una prueba quedan compensados en cierta medida. Se obtiene una mejora adicional en el tratamiento de los efectos del aprendizaje mediante unas pocas presen
41、taciones ficticias al comienzo de cada sesin. Estas condiciones deben elegirse de modo que sean representativas de las presentaciones que se van a mostrar ms tarde durante la sesin. Las presentaciones preliminares no se han de tener en cuenta en el anlisis estadstico de los resultados de la prueba.
42、La duracin de una sesin, es decir, de una serie de presentaciones, no debe ser ms de media hora. Cuando se prueban varias escenas o algoritmos, el orden de presentacin de las escenas o algoritmos debe aleatorizarse. El orden aleatorio puede modificarse para garantizar que las mismas escenas o los mi
43、smos algoritmos no estn prximos temporalmente (es decir, consecutivamente). 3 Mtodos de evaluacin Se puede examinar la calidad de funcionamiento del vdeo de los sistemas multimedios mediante las metodologas de la Recomendacin UIT-R BT.500. En el 3.1 de esta Recomendacin se proporciona una lista de l
44、os mtodos seleccionados. En el 3.2 se facilita una descripcin de una metodologa adicional denominada evaluacin subjetiva de calidad de vdeo multimedios (SAMVIQ), que aprovecha las caractersticas del dominio multimedio y puede usarse para evaluar la calidad de funcionamiento de sistemas multimedios.
45、6 Rec. UIT-R BT.1788 3.1 Metodologas de la Recomendacin ITU-R BT.500 Para evaluar la calidad de vdeo en sistemas multimedios medios deben utilizarse las siguientes metodologas de la Recomendacin UIT-R BT.500: Mtodo de escala de degradacin con doble estmulo (DSIS), como se describe en la Recomendacin
46、 UIT-R BT.500, Anexo 1, 4. Mtodo de escala de calidad continua de doble estmulo (DSCQS), como se describe en la Recomendacin UIT-R BT.500, Anexo 1, 5. Mtodos de estmulo nico (SS), como se describe en la Recomendacin UIT-T BT.500, Anexo 1, 6.1. Mtodos de comparacin de estmulos (SC), como se describe
47、en la Recomendacin UIT-R BT.500, Anexo 1, 6.2. Mtodo de evaluacin de calidad continua de estmulo nico (SSCQE), como se describe en la Recomendacin UIT-R BT.500, Anexo 1, 6.3. 3.2 Evaluacin subjetiva de la calidad de vdeo multimedios (SAMVIQ) En este mtodo, al espectador se le da acceso a varias vers
48、iones de una secuencia. Cuando el espectador ha calificado todas las versiones, puede accederse al siguiente contenido de la secuencia. El espectador selecciona aleatoriamente las diferentes versiones por medio de una interfaz de ordenador grfica, pudiendo detener, revisar y modificar como desee la nota otorgada a cada versin de una secuencia. Este mtodo incluye una secuencia de referencia explcita (es decir, no procesada) y varias versiones de la misma secuencia que incluyen tanto secuencias procesadas como no procesadas (es decir, referencia oculta)
