1、RAPPORT TECHNIQUE 9547 Publi 1988-04-01 INTERNATIONAL ORGANIZATION FOR STANDARDIZATION. MEXAYHAPOAHAH OPTAHM3AMFI n0 CTAHAAPTM3AMM. ORGANISATION INTERNATIONALE DE NORMALISATION Processeurs de langage de programmation - Mthodes dessai - Lignes directrices pour leur laboration et acceptabilit Programm
2、ing language processors - Test methods - Guidelines for their developmen t and accep tability LISO (Organisation internationale de normalisation) est une fdration mondiale dorganismes nationaux de normalisation (comits membres de IISO). Llaboration des Normes internationales est normalement confie a
3、ux comits techniques de IISO. Chaque comit membre intress par une tude a le droit de faire partie du comit technique cr cet effet. Les organisations internationales, gouvernementales et non gouvernementales, en liaison avec IISO participent galement aux travaux. La tche principale des comits techniq
4、ues de IISO est dlaborer les Normes internationales. Exceptionnellement, un comit technique peut proposer la publication dun rapport technique de lun des types suivants: - type 1 : lorsque, en dpit de maints efforts au sein dun comit technique, laccord requis ne peut tre ralis en faveur de la public
5、ation dune Norme internationale; - type 2: lorsque le sujet en question est encore en cours de dveloppement technique et requiert une plus grande exprience; - type 3: lorsquun comit technique a runi des donnes de nature diffrente de celles qui sont normalement publies comme Normes internationales (c
6、eci pouvant comprendre des informations sur ltat de la technique, par exemple). La publication des rapports techniques dpend directement de lacceptation du Conseil de IISO. Les rapports techniques des types 1 et 2 font lobjet dun nouvel examen trois ans au plus tard aprs leur publication afin de dci
7、der ventuellement de leur transformation en Normes internationales. Les rapports techniques du type 3 ne doivent pas ncessairement tre rviss avant que les donnes fournies ne soient plus juges valables ou utiles. LISO/TR 9547 a t prpar par le comit technique ISO/TC 97, Systmes de traitement de linfor
8、mation. Le prsent rapport technique du type 3 a t labor afin de fournir des lignes directrices aux concepteurs des mthodes dessai pour les langages de programmation et afin daider galement les concepteurs des langages de programmation proprement dits. II devrait faciliter la prparation de mthodes de
9、ssai spcifiques qui aideront les ralisateurs fabriquer des processeurs de langage conformes la norme, dont bnficiera lutilisateur final. CDU 681.3.068 : 620.1 Rf. no ISO/TR 9547 : 1988 (F) Descripteurs : traitement de linformation, programme de calculateur, langage de programmation, processeur de la
10、ngage, essai. 0 Organisation internationale de normalisation, 1988 l Imprim en Suisse Prix bas sur 6 pages ISO/TR 9547 : 1988 (FI Table des matires 0 Introduction 3 1 Objet et domaine dapplication 3 2 2.1 2.2 2.3 2.4 2.5 2.6 2 7 28 0 2 9 210 211 212 0 Dfinitions 3 Configuration 3 Extension 4 Dfini p
11、ar la ralisation 4 Processeur 4 Essai 4 Mthode dessai 4 Programme de test 4 Rapport de test 4 Jeu de test 4 Outils de test 4 Documents requis 4 Sous-ensemble 4 3 Objet soumis au test 4 4 Description des mthodes dessai 4.1 Jeu de test 4.2 Outils de test 4 3 l Procdures techniques 4.3.1 Plan global de
12、 test 4.3.2 Documents requis ,. 5 5.1 5.2 5 3 54 55 l 5 6 57 l 6 Lignes directrices pour llaboration des mthodes dessai 7 Examen des mthodes dessai existantes 7 Critres de conception des jeux de test 7 Faisabilit de lessai 8 Caractristiques du langage non couverts par le jeu de test 8 Test des sous-
13、ensembles 9 Exigences de portabilit 9 Outils de test 9 Maintenance et rvision des jeux de test 7 Disponibilit 8 Acceptabilit des mthodes dessai 8.1 Critres dacceptation de la mthode dessai 8.2 Rvision de la mthode dessai 9 9 9 9 10 2 ISO/TR 9547 : 1988 (F) 0 Introduction Le domaine des langages de p
14、rogrammation est un sujet en volution I constante : on met au point de nouveaux langages, on rvise les anciens. Dans les deux cas, il ne faut pas oublier les exigences de conformit ; aussi faut-il tudier le problme des tests au moment de llaboration et de la rvision des normes de langages. Lobjectif
15、 du prsent document est de donner des lignes directrices pour llaboration dune mthode dessai base sur un jeu de programmes de test et dtapes prcises devant tre suivies pour quune mthode dessai soit formellement approuve par 1ISO. Il convient de lire ces lignes directrices conjointement la norme dun
16、langage donn afin dlaborer une mthode spcifique pour des processeurs de langages de programmation. Ces lignes directrices sont crites lusage des concepteurs de mthodes dessai et de ceux qui les approuveront au sein de 1ISO. La disponibilit de mthodes dessai spcifiques aidera les ralisateurs fabrique
17、r des processeurs de langage conformes la norme, ce qui profitera de ce fait lutilisateur final. En lisant ces lignes directrices, il ne faut surtout pas oublier que les normes des langages de programmation nont pas encore atteint un . niveau de prcision et de compltude permettant llaboration de tes
18、ts de conformit pour chacun des aspects et caracttistiques dun langage dcrit dans une norme de langage de programmation. Les questions relatives aux essais sont rarement lobjectif principal des comits de normalisation, ce qui peut poser des problmes pour lapplication rigoureuse de ces lignes directr
19、ices une quelconque norme donne de langage de programmation. 1 Objet et domaine dapplication Les prsentes lignes directrices dcrivent une mthodologie permettant de dterminer si un processeur conu pour un langage de programmation particulier possde les caractristiques requises telles auelles sont I i
20、ndiques dans la Norme internationale de ce langage de programmation. Lvaluation de la conformit dun processeur de langage peut tre faite au moyen de la “Mthodologie de Jeu de test“. On nexclut pas lutilisation dautres mthodologies, mais celles-ci ne sont pas traites dans le prsent document. 2 Dfinit
21、ions Pour les besoins des prsentes lignes directrices, les termes suivants sappliquent : 2.1 Configuration : Ordinateurs hte et cible, avec tout (ou tous) systme(s) dexploitation et logiciels utiliss pour faire fonctionner un processeur. ISO/TR 9547 : 1988 (FI 2.2 Extension : Possibilit du langage q
22、ui ne figure pas dans la norme du langage, mais qui nengendre ni dambigut ni de contradiction lorsquelle est ajoute la norme du langage (bien que, dans quelques langages, elle puisse servir lever une restriction). 2.3 Dfini par la ralisation : Dpendant du processeur, mais devant selon la norme du la
23、ngage, tre dfini et document par les ralisateurs. 2.4 Processeur : Compilateur, traducteur on interprte travaillant en association avec une configuration. 2.5 Essai : Opration technique qui consiste dterminer une ou plusieurs caractristiques dun produit, processus ou service donn, selon un mode opra
24、toire spcifi. (Guide ISO/CEI No 2 - 1986). 2.6 Mthode dessai : Procdure technique dfinie pour la ralisation dun essai. (Guide ISO/CEI No 2 - 1986). 2.7 Programme de test :Suite de caractres destine tre soumise un processeur afin de dterminer si oui ou non ce processeur prsente un cas spcifique dune
25、proprit dtermine. 2.8 Rapport dessai : Document qui prsente les rsultats dun essai et dautres informations sy rapportant. (Guide ISO/CEI No 2 - 1986). 2.9 Jeu de test : Un ensemble de programmes de tests de rfrence destin valuer la conformit dun processeur la norme dun langage. 2.10 Outils de test :
26、 Tout moyen supplmentaire permettant damliorer lefficacit, la fiabilit et la facilit demploi des diffrents stades des essais (par exemple, mise en oeuvre du jeu de test, garantie de lintgrit, du traitement du jeu de test, collecte des rsultats des essais, analyse des rsultats des essais, dition du r
27、apport dessai). 2.11 Documents requis : Ensemble de documents exigs par la norme du langage de programmation. 2.12 Sous-ensemble : Un sous-ensemble S du langage de programmation L est un langage de programmation tel que tout programme en S - est galement un programme de L, et - a le mme sens en S qu
28、en L. 3 Objet soumis au test Etant donn quun processeur ne fonctionne quen association avec une configuration, quelques conditions doivent tre respectes : 3.1 Spcification intgrale du processeur soumis au test, y compris les options slectionnes, et de la configuration adopte pour lessai. 4 ISO/TR 95
29、47 : 1988 (FI 3.2 Test dune seule et mme copie dun processeur sur une configuration dtermine. 4 Description des mthodes dessai Dans le prsent contexte, la procdure technique utilise un jeu de test, des outils de test et, ventuellement des donnes. 4.1 Jeu de test IJn jeu de test doit tre conu pour co
30、ntrler la conformit des processeurs en les soumettant au programmes de test. Chaque essai porte sur quelques lignes directrices de la norme du langage et leur interaction. Un jeu de test doit tre conu pour tester la conformit et non pour valier dautres caractristiques dun processeur. Le jeu de test
31、doit, si possible, couvrir tous les aspects de la norme du langage et examiner les problmes de mise en oeuvre touchant la conformit. Le jeu de test ne doit pas tre trop volumineux : on doit tenir compte des aspects conomiques (par exemple, cots relatifs du contrle de la conformit par rapport aux cot
32、s de dveloppement dune mise en oeuvre). Le jeu de test doit tre crit de manire pouvoir tre rvis facilement sous un systme de gestion de version et soumis une procdure de rvision. Le jeu de test doit tre conu de faon prendre en compte tous les niveaux ou options possibles spcifies dans la norme du la
33、ngage. Ainsi, le jeu de test doit-il tre modulaire. Les programmes de test doivent tre, dans la mesure du possible, independants les uns des autres et lordre dexcution des programmes de test ne doit pas influer sur les rsultats des uns ou des autres. L o cela nest pas possible ou pas souhaitable, en
34、 raison de certains aspects ds la conception du langage, i 1 c onvient de spcifier et documenter les relations entre tous les tests modules du code source) qui dpendent les uns des autres. (ou les Chaque programme de test doit avoir un seul objectif en rapport avec les exigences de la norme. Lorsque
35、 cela nest pas pratique, il faut pouvoir identifier facilement les rsultats des objectifs particuliers. Les programmes de test doivent fournir un rsultat conformment aux objectifs stipuls. Le jeu de test doit comprendre des programmes de test conformes aux rgles de la norme du langage. Il doit galem
36、ent comprendre des programmes de test non conformes aux rgles de ladite norme, dans les situations o la norme du langage spcifie les proprits syntaxiques ou smantiques que lon doit rejeter. Les programmes de test doivent pouvoir, dans la mesure du possible, oprer un auto-contrle et de ce fait doiven
37、t signaler le succs ou lchec par un message (ce qui devrait faciliter ldition automatique dun rapport dessai). ISO/TR 9547: 1988 (FI Le jeu de test doit permettre lutilisation de valeurs paramtres qui prennent en compte la configuration utilise avec le processeur. 4.2 Outils de test On doit prendre
38、les dispositions ncessaires pour mettre au point des outils de test. Lautomatisation la fois du contrle et de lanalyse des rsultats est essentielle, afin de faciliter des essais rigoureux et conomiques. 4.3 Procdures techniques 4.3.1 Plan global de test La mthode dessai doit dfinir le plan global de
39、 test tel que dcrit ci-aprs. Un jeu de test doit tre excut sur une configuration dsigne en utilisant le processeur tester. Les rsultats (succs ou chec) de lessai dun processeur spcifique sur une configuration spcifique (tous les composants tant entirement dfinis) seront reproductibles si aucune modi
40、fication na eu lieu sur aucun composant de la configuration. Les renseignements donns dans les documents requis doivent tre examins pour voir sils sont conformes la norme du langage et doivent tre compars aux rsultats des essais. La sortie dun processeur qui a t contrl avec le jeu de test doit tre a
41、nalyse suivant des rgles clairement dfinies. Ces rgles doivent donner des critres dvaluation objective de toutes les sorties possibles, y compris labsence de sortie, pour chaque programme de test faisant partie du jeu de test. Les rsultats du contrle de conformit par rapport la norme doivent tre ana
42、lyss et consigns dans un rapport. Celui-ci doit fournir et rsumer tous les renseignements relatifs au contrle de conformit par rapport la norme du langage (mise en place du contrle, contrle effectif, vnements majeurs au cours du contrle). Le rapport dessai doit galement numrer les caractristiques du
43、 langage impossibles tester, en donnant une raison, l o il convient, pour la ralisation soumise au test. Lanalyse et ldition du rapport dessai doivent tre aussi automatises que possible. Le niveau dautomatisation doit dpendre du type de test et du format de prsentation des rsultats. 4.3.2 Documents
44、connexes La mthode dessai doit spcifier la documentation ncessaire, comprenant : - la description de la classification du test avec les objectifs de chaque classe ; - lordre dexcution des tests, sil est demand ; - une liste des caractristiques du langage non couvertes par le jeu de test. 6 ISO/TR 95
45、47 : 1988 (FI 5 Lignes directrices pour llaboration des mthodes dessai Lors de la mise au point dune mthode dessai, on doit prendre en compte un certain nombre de points. Ces points figurent ci-aprs. 5.1 Examen des mthodes dessai existantes Les mthodes dessai utilises pour dautres processeurs doiven
46、t tre examines pour dterminer avec quel degr de succs elles ont rpondu leurs objectifs de conception. Lorsque les objectifs de conception dune nouvelle mthode dessai ressemble ceux de mthodes dessai existantes, il convient denvisager la possibilit dadapter les principes de conception correspondants
47、la nouvelle mthode dessai. 5.2 Critres de conception des jeux de test Chaque programme dessai doit tre crit de manire comprhension par lutilisation dune documentation explicite, comprenant : - des commentaires clairs, concis, et non redondant test lautre ; faciliter sa claire et dun programme de - une rfrence des clauses de la norme du langage ; - un nonc clair des hypothses faites dans la conception du jeu de test, Le jeu de test doit tre crit de manire faciliter sa comprhension par lutilisation dune codification explicite, telle que : - conventions d
