1、 Union internationale des tlcommunicationsUIT-T J.149SECTEUR DE LA NORMALISATION DES TLCOMMUNICATIONS DE LUIT (03/2004) SRIE J: RSEAUX CBLS ET TRANSMISSION DES SIGNAUX RADIOPHONIQUES, TLVISUELS ET AUTRES SIGNAUX MULTIMDIAS Mesure de la qualit de service Mthode de spcification de la prcision et de co
2、ntre-talonnage des mesures de la qualit vido Recommandation UIT-T J.149 Rec. UIT-T J.149 (03/2004) i Recommandation UIT-T J.149 Mthode de spcification de la prcision et de contre-talonnage des mesures de la qualit vido Rsum Les mesures de qualit vido sont censes fournir des valeurs calcules fortemen
3、t corrles aux valuations subjectives des observateurs. La prsente Recommandation contient des mthodes dajustement des valeurs objectives VQM aux valeurs subjectives permettant de mieux dterminer la prcision des calculs VQM, un algorithme permettant de quantifier la prcision dune mthode VQM, une mtho
4、de de calcul simplifie de la valeur quadratique moyenne de lerreur permettant de quantifier la prcision dune mthode VQM lorsque la variance des donnes subjectives est peu prs constante sur lchelle VQM et une mthode de reprsentation graphique des erreurs de classification permettant de dterminer les
5、frquences relatives “dquivalences errones“, de “diffrentiations errones“, de “classifications errones“ et de “dcisions correctes“ pour une mthode VQM donne. Source La Recommandation UIT-T J.149 a t approuve le 15 mars 2004 par la Commission dtudes 9 (2001-2004) de lUIT-T selon la procdure dfinie dan
6、s la Recommandation UIT-T A.8. ii Rec. UIT-T J.149 (03/2004) AVANT-PROPOS LUnion internationale des tlcommunications (UIT) est une institution spcialise des Nations Unies dans le domaine des tlcommunications et des technologies de linformation et de la communication (ICT). Le Secteur de la normalisa
7、tion des tlcommunications (UIT-T) est un organe permanent de lUIT. Il est charg de ltude des questions techniques, dexploitation et de tarification, et met ce sujet des Recommandations en vue de la normalisation des tlcommunications lchelle mondiale. LAssemble mondiale de normalisation des tlcommuni
8、cations (AMNT), qui se runit tous les quatre ans, dtermine les thmes dtude traiter par les Commissions dtudes de lUIT-T, lesquelles laborent en retour des Recommandations sur ces thmes. Lapprobation des Recommandations par les Membres de lUIT-T seffectue selon la procdure dfinie dans la Rsolution 1
9、de lAMNT. Dans certains secteurs des technologies de linformation qui correspondent la sphre de comptence de lUIT-T, les normes ncessaires se prparent en collaboration avec lISO et la CEI. NOTE Dans la prsente Recommandation, lexpression “Administration“ est utilise pour dsigner de faon abrge aussi
10、bien une administration de tlcommunications quune exploitation reconnue. Le respect de cette Recommandation se fait titre volontaire. Cependant, il se peut que la Recommandation contienne certaines dispositions obligatoires (pour assurer, par exemple, linteroprabilit et lapplicabilit) et considre qu
11、e la Recommandation est respecte lorsque toutes ces dispositions sont observes. Le futur dobligation et les autres moyens dexpression de lobligation comme le verbe “devoir“ ainsi que leurs formes ngatives servent noncer des prescriptions. Lutilisation de ces formes ne signifie pas quil est obligatoi
12、re de respecter la Recommandation. DROITS DE PROPRIT INTELLECTUELLE LUIT attire lattention sur la possibilit que lapplication ou la mise en uvre de la prsente Recommandation puisse donner lieu lutilisation dun droit de proprit intellectuelle. LUIT ne prend pas position en ce qui concerne lexistence,
13、 la validit ou lapplicabilit des droits de proprit intellectuelle, quils soient revendiqus par un membre de lUIT ou par une tierce partie trangre la procdure dlaboration des Recommandations. A la date dapprobation de la prsente Recommandation, lUIT navait pas t avise de lexistence dune proprit intel
14、lectuelle protge par des brevets acqurir pour mettre en uvre la prsente Recommandation. Toutefois, comme il ne sagit peut-tre pas de renseignements les plus rcents, il est vivement recommand aux dveloppeurs de consulter la base de donnes des brevets du TSB sous http:/www.itu.int/ITU-T/ipr/. UIT 2009
15、 Tous droits rservs. Aucune partie de cette publication ne peut tre reproduite, par quelque procd que ce soit, sans laccord crit pralable de lUIT. Rec. UIT-T J.149 (03/2004) iii TABLE DES MATIRES Page 1 Domaine dapplication 1 2 Rfrences informatives . 2 3 Abrviations 2 4 Prcision dune mthode VQM. 2
16、4.1 Nomenclature et chelles de coordonnes 3 4.2 Ajustement des valeurs VQM aux donnes subjectives. 3 4.3 Mesure 1: prcision de la mthode VQM fonde sur une signification statistique 6 4.4 Mesure 2: calcul de lerreur quadratique moyenne associe une mthode VQM 8 4.5 Courbes de classification 8 5 Contre
17、-talonnage de deux mthodes VQM. 11 Appendice I Application de la prsente Recommandation lvaluation et la validation des mthodes VQM proposes 12 I.1 Elments dune prsentation exhaustive dune mthode VQM 12 I.2 Domaine/limites dapplication dune mthode VQM . 12 Appendice II Code source MATLAB. 15 Appendi
18、ce III Ajustement des donnes VQM une chelle commune de mesures. 21 III.1 Polynme dordre M . 21 III.2 Fonction logistique I. 21 III.3 Fonction logistique II . 22 Bibliographie 23 Rec. UIT-T J.149 (03/2004) 1 Recommandation UIT-T J.149 Mthode de spcification de la prcision et de contre-talonnage des m
19、esures de la qualit vido 1 Domaine dapplication Les mesures de qualit vido sont censes fournir des valeurs calcules fortement corrles aux valuations subjectives des observateurs. La prsente Recommandation contient: a) des mthodes dajustement des valeurs objectives VQM aux valeurs subjectives permett
20、ant de mieux dterminer la prcision des calculs VQM et de gnrer une chelle de valeurs objectives normalise qui peut tre utilise pour oprer une corrlation croise entre diffrentes mthodes VQM; b) un algorithme (fond sur une analyse statistique des donnes subjectives) permettant de quantifier la prcisio
21、n dune mthode VQM; c) une mthode de calcul simplifie de la valeur quadratique moyenne de lerreur permettant de quantifier la prcision dune mthode VQM lorsque la variance des donnes subjectives est peu prs constante sur lchelle VQM; d) une mthode de reprsentation graphique des erreurs de classificati
22、on permettant de dterminer les frquences relatives “dquivalences errones“, de “diffrentiations errones“, de “classifications errones“ et de “dcisions correctes“ pour une mthode VQM donne. Les mthodes spcifies dans la prsente Recommandation sont fondes sur une valuation objective et sur une valuation
23、 subjective de la composante vido telle que celle-ci est dfinie dans la Recommandation UIT-R BT.601, en utilisant des mthodes telles que celles dcrites dans la Recommandation UIT-R BT.500-11. Le jeu de donnes considrer pour une mthode VQM comprendra les valeurs objectives et les notes subjectives mo
24、yennes correspondant diffrentes sources dimages animes (SRC) associes divers circuits fictifs de rfrence (HRC, hypothetical reference circuits). Un exemple de telles donnes figure dans le Document de rfrence UIT-T (voir lAppendice I). Les mthodes spcifies dans la prsente Recommandation sont directem
25、ent applicables un jeu de donnes bien dfini. Pour les mesures qui nappartiennent pas spcifiquement au jeu de donnes considr, ces mthodes fournissent une estimation raisonnable de la prcision et du contre-talonnage pour les applications que lon peut considrer comme similaire ou de mme porte que celle
26、s associes au jeu de donnes prcit. Les mthodes spcifies dans la prsente Recommandation peuvent tre associes dautres mthodes de calculs statistiques aux fins dvaluation de lutilit dune mthode VQM. On trouvera dans lAppendice I des informations relatives lutilisation de ces mthodes. Un processus compl
27、et de vrification par des laboratoires indpendants comptents est requis avant de pouvoir envisager linclusion titre normatif dune mthode VQM dans une Recommandation de lUIT-R. NOTE La structure et le contenu de la prsente Recommandation ont t organiss pour faciliter son utilisation tous ceux qui son
28、t familiers avec le matriel initial; ainsi le style habituel des recommandations UIT-T na pas t appliqu. 2 Rec. UIT-T J.149 (03/2004) 2 Rfrences informatives ANSI T1.801.01-1995*, Digital Transport of Video Teleconferencing/Video Telephony Signals Video Test Scenes for Subjective and Objective Perfo
29、rmance Assessment. ANSI T1.801.02-1996, Digital Transport of Video Teleconferencing/Video Telephony Signals Performance Terms, Definitions and Examples. ANSI T1.801.03-2003, Digital Transport of One-Way Digital Signals Parameters for Objective Performance Assessment. IEEE Standard No. 205-2001, Meas
30、urement of Luminance Signal Levels. Document de rfrence UIT-T (2004), Objective perceptual assessment of video quality: Full reference television (www.itu.int/ITU-T/studygroups/com09/docs/tutorial_opavc.pdf). Recommandation UIT-R BT.500-11 (2002), Mthodologie dvaluation subjective de la qualit des i
31、mages de tlvision. U.S. Standards Committee T1 Technical Report T1.TR.73-2001, Video Normalization Methods Applicable to Objective Video Quality Metrics utilizing a Full Reference Technique. U.S. Standards Committee T1 Technical Report T1.TR.74-2001, Objective Video Quality Measurement Using Peak-Si
32、gnal-to-Noise Ratio Full Reference Technique. U.S. Standards Committee T1 Technical Report T1.TR.75-2001, Objective Perceptual Video Quality Measurement Using a JND-Based Full Reference Technique. U.S. Standards Committee T1 Technical Report T1.TR.77-2002, Data and sample program code to be used wit
33、h the method specified in T1.TR.72-2001 for the calculation of resolving power of the video quality metrics in T1.TR.74-2001 and T1.TR.75-2001. 3 Abrviations La prsente Recommandation utilise les abrviations suivantes: FR-TV signal de rfrence complet (full reference television) HRC circuit fictif de
34、 rfrence (hypothetical reference circuit) RMSE erreur quadratique moyenne (root mean squared error) SRC source VQEG groupe dexperts sur la qualit vido (video quality experts group) VQM mesures de la qualit vido (video quality metrics) 4 Prcision dune mthode VQM Pour utiliser une mthode de mesure obj
35、ective de la qualit vido (VQM, video quality metrics), on doit savoir si la diffrence de notation entre deux squences vido traites est importante dun point de vue statistique. Il est donc ncessaire de quantifier la prcision (ou le pouvoir de rsolution) dune mthode VQM. Pour visualiser ce pouvoir de
36、rsolution, il est utile dans un premier temps de tracer une courbe de dispersion dont labscisse est une note VQM relative une source vido (SRC) particulire associe une certaine distorsion (circuit fictif de rfrence ou HRC) et lordonne est une note subjective pour une observation particulire de cette
37、 paire SRC/HRC. A chaque paire SRC/HRC ( laquelle est associe une certaine note VQM) correspond une distribution de notes _ *Les normes T1 sont maintenues par lATIS depuis novembre 2003. Rec. UIT-T J.149 (03/2004) 3 subjectives moyennes S attribues par un certain nombre dobservateurs, distribution q
38、ui reprsente (approximativement) les probabilits relatives de S pour la paire SRC/HRC considre. Le pouvoir de rsolution dune mthode VQM peut tre dfini comme la diffrence entre deux valeurs de mesures VQM pour laquelle les distributions correspondantes de notes subjectives prsentent des moyennes stat
39、istiquement diffrentes (en gnral pour un intervalle de confiance 95%). Aprs cette description qualitative, le prsent paragraphe dcrit deux mthodes de mesure du pouvoir de rsolution dont chacune est adapte un contexte particulier. Ces mthodes sont dcrites aux 4.3 et 4.4. On dcrit par ailleurs dans le
40、 4.5 une mthode permettant dvaluer les frquences doccurrence de diffrents types derreurs engendres par lapplication dune mthode VQM. Un code informatique source MATLAB (The Mathworks, Inc., Natick, MA) est donn dans lAppendice II titre dexemple dimplmentation de toutes ces mthodes. 4.1 Nomenclature
41、et chelles de coordonnes Il faut appeler “situation“ chaque association source SRC/circuit HRC dun jeu de donnes et soit N le nombre de situations du jeu de donnes. On notera Silla note subjective attribue une situation i par un observateur l et iO la note objective attribue la situation i. La valeu
42、r moyenne calcule par rapport une variable (lobservateur par exemple) sera signale par un point plac lemplacement de cette variable. Ainsi, la note dopinion moyenne attribue une situation sera note iS . Les valeurs statistiques de notes subjectives associes chaque paire (i, j) dune situation doivent
43、 tre values pour dterminer la signification de la diffrence entre mesures VQM puis utilises pour parvenir dterminer un pouvoir de rsolution pour cette diffrence VQM, en fonction de la valeur VQM. Avant toute analyse statistique, les notes dopinion moyennes subjectives initiales iS sont “projetes“ li
44、nairement sur lintervalle 0, 1, dfini comme tant lchelle commune de notation, 0 indiquant une absence de dgradation et 1 une dgradation maximale. Si best est la note subjective initiale en labsence de dgradation et worst la note subjective initiale pour une dgradation maximale, les notes normalises
45、iSsont donnes par: bestworstbestSSii=Les notes VQM sont ensuite “rapportes“ lchelle commune de notation. Cette transformation est une consquence du processus dajustement de ces notes aux donnes subjectives, ce qui sera examin dans le prochain paragraphe. 4.2 Ajustement des valeurs VQM aux donnes sub
46、jectives Le processus dajustement supprime les diffrences systmatiques entre valeurs VQM et donnes subjectives (dcalage de courant continu par exemple) qui napportent aucune information utile en termes de discrimination qualitative. De plus, lapplication toutes les mthodes VQM dun processus dajustem
47、ent pour que leurs valeurs appartiennent une seule chelle commune de notation constituera une mthode de contre-talonnage desdites mthodes. La mthode dajustement de donnes la plus simple est celle de la corrlation linaire et de la rgression. Elle nest peut-tre pas la meilleure dans le cas de notes subjectives de la qualit vido. Pour dautres jeux de donnes de qualit vido (voir document de rfrence UIT-T), lexprience montre un ajustement de plus en plus mauvais entre les valeurs VQM et les notes subje
