1、 ICS 03.120 A 00 DB4403 深圳市地方标准 DB4403/T 29-2019 食品许可审查工作质量测评指南 Guidelines of quality evaluation for food licensing review work 2019-08-30 发布 2019-10-01 实施 深圳市市场监督管理局 发布 DB4403/T 29-2019 目 次 前 言 . . 引 言 . . 1 范围 . . 1 2 规范性引 用文件 . . 1 3 术语和定 义 . . 1 4 测评原则 . . 2 5 测评模型 . . 2 6 指标体系 . . 3 7 测评实施 . .
2、4 8 分析与改 进 . . 7 9 测评管理 . . 7 附录 A （资料性附录） 许可审查工作质量现场见证/现场暗访检查的关键要素 . 8 附录 B （资料性附录） 许可审查工作质量现场复核检查的关键要素 . 9 附录 C （资料性附录） 许可审查工作档案质量检查的关键要素 . 10 附录 D （资料性附录） 被审查组织回访调查的关键要素 . 11 附录 E （资料性附录） 审查委托方满意测评的关键要素 . 12 附录 F （资料性附录） 现场见证/现场暗访检查评分表及指标权重示例 . 13 DB4403/T 29-2019 前 言 本标准按照GB/T 1.1-2009给出的规则起草。 本
3、标准由深圳市市场监督管理局提出并归口。 本标准主要起草单位：深圳市市场监督管理局许可审查中心、深圳市先进质量管理技术研究院、 深圳市深监管理认证培训中心有限公司。 本标准主要起草人：肖文晖、戴劲、刘名概、石岩、郭军旗、熊冬霞、王志远、傅燕群、景永哲、 申琳。 DB4403/T 29-2019 引 言 审查是依据审查准则进行的并确定满足要求程度的客观评价，是系统的、独立的并形成文件的过 程。审查工作用以评判行为主体的活动与结果是否符合准则要求，准入机构依据审查结果判断是否予 以行为主体准入市场并颁发相应证书，审查结论应具有公信力。 食品许可审查是食品市场准入的一个重要环节，审查工作质量直接影响审
4、查结论。为降低食品许 可审查风险，引导食品许可审查工作质量的持续提升，确保食品许可审查工作的权威性、公平性、公 正性和公开性，本标准围绕测评原则、测评模型、测评指标体系、测评实施、分析与改进、测评管理 等构建了系统的质量测评路径和方法， 为食品许可审查工作质量的全面监测和评价提供技术依据手段。 DB4403/T 29-2019 1 食品许可审查工作质量测评指南 1 范围 本标准给出了食品许可审查工作质量的测评原则、测评模型、测评指标体系，为食品许可审查工 作质量的测评实施、分析与改进、测评管理提供了指南。 本标准适用于食品生产许可和食品经营许可的审查工作质量测评。 2 规范性引用文件 下列文件
5、对于本文件的应用是必不可少的。凡是注日期的引用文件，仅所注日期的版本适用于本 文件。凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。 GB/T 190002016 质量管理体系 基础和术语 (ISO9000:2015 ,IDT) GB/T 190112013 管理体系审核指南 (ISO19011:2011 ,IDT) 3 术语和定义 下列术语和定义适用于本文件。 3.1 食品生产许可审查 food produ ction licensing review 对申请人的食品、食品添加剂（以下统称食品）生产许可以及许可变更、延续等的审查过程。食 品生产许可审查包括申请材料审查和现
6、场审查。 3.2 食品经营许可审查 food bus iness licensing review 对从事食品销售和餐饮服务活动的食品经营许可及许可变更、延续等的审查过程，食品经营许可 审查包括申请材料审查和现场审查。 3.3 质量测评 quality evaluation 以规范或要求为依据，通过对审查过程实施观察、交流与面谈、检查记录与实施结果等方式，对 审查有关工作满足要求的程度进行客观的测量与评价的过程。 3.4 测评机构 evaluation institutions 实施质量测评的组织。 注： 可为审查机构本身，也可是审查委托方，也可以是其他第三方组织。 DB4403/T 29-2
7、019 2 3.5 测评人员 evaluation personnel 实施质量测评的人员。 3.6 利益相关方 stakeholder 与食品许可审查活动有利益关系的个人或组织。 示例： 食品监管机构、食品生产者、食品经营者、许可审查人员、监管人员、合作伙伴、食品消费者等。 注： 改写GB/T19000-2016，定义3.2.3。 3.7 委托方 client 提出要求的组织或人员。 注1： 改写GB/T19011-2013，定义3.6。 注2： 本标准的委托方包括审查委托方和测评委托方。 4 测评原则 4.1 独立性原则 独立性是测评过程公正性和测评结论客观性的基础。测评活动应由与审查活动
8、无责任关系的人员 实施,测评活动的行为方式应摆脱偏见和利益冲突。 4.2 开放性原则 利益相关方适当的与及时的参与使他们的知识、观点和认知得以考虑，以利于全面、科学开展测 评。 4.3基于证据原则 基于客观数据和信息进行分析和评价所做出的决策将更有可能获得可信赖和反映实际的结果。 4.4 风险思维原则 基于风险思维的测评方法将对质量测评的策划、 实施和结果产生积极影响,可确保测评工作始终关 注重点。 4.5 持续改进原则 通过测评，进行数据分析，总结经验，不断改进许可审查水平，提高工作质量。 5 测评模型 DB4403/T 29-2019 3 审查工作质量是在充分控制审查工作风险的前提下，实现
9、最优的过程控制和最佳结果、同时确保 系统高效运作，最终达成各利益相关方要求。依据全过程管理理念，食品许可审查工作质量测评可包 括风险测评、过程测评、结果测评、时效测评和相关方满意测评等五个维度。基本模型见图1： 图 1 食品许可审查工作质量测评的基本模型 6 指标体系 食品许可审查工作质量测评指标体系由风险、过程、结果、时效、相关方满意等5个维度指标及其 展开的核心指标项构成。参见表1： a) 风险类指标主要测评廉洁自律、工作纪律、工作作风等核心指标项； b) 过程类指标主要测评工作程序、团队协作、专业水平等核心指标项； c) 结果类指标主要测评审查结论、审查文书、审查档案等核心指标项； d)
10、 时效类指标主要测评各阶段的时效； e) 相关方满意类指标主要测评审查委托方满意、被审查组织满意等指标项。 表1 食品许可审查工作质量测评指标体系 指标类目 核心指标项 评分项 风险类 廉洁自律 “吃拿卡要”现象 有偿咨询服务现象 工作纪律 守时性 保密性 专注性 工作作风 工作态度 服务意识 工作形象 过程类 工作程序 预先告知 审查流程 审查程序 食品许可 审查工作 质量测评 风险 过程 结果时效 相关方 满意 DB4403/T 29-2019 4 表 1 食品许可审查工作质量测评指标体系（续） 指标类目 核心指标项 评分项 过程类 专业水平 专业知识 问题解答 团队协作 合作 分工 结果
11、类 审查结论 公平公正 客观准确 审查文书 结论正确 内容规范 文书工整 审查档案 资料完整 资料符合 时效类 各阶段时效 审查时效 报批时效 归档时效 相关方满意类 审查委托方满意 满意度 支持度 信任度 被审查组织满意 满意度 抱怨度 信任度 注： 各类指标分别通过数据采集的一种或多种方式获取，每一种数据采集方式都形成一个独立评分供最终结果统 计。见第7节与附录A、B、C、D、E。 7 测评实施 7.1 确定数据采集方式 依据食品许可审查质量测评指标体系，测评机构可根据食品许可审查工作特性和审查委托方关注 的重点，选取以下一种或多种数据采集方式，或者其他适用的方式： a) 现场见证：在提前
12、告知审查小组的情况下，随机抽取被审查组织，由测评人员全程见证食品许可 现场审查工作并进行评估评分； b) 现场暗访：在审查小组不知情的情况下，随机抽取被审查组织，由测评人员全程见证食品许可现 场审查工作并进行评估评分； c) 现场复核：随机抽查已经完成审查的组织，由测评人员对照现场审查标准再次进行复核和比对, 并对审查工作质量进行评估评分； d) 档案抽查：对已归档的档案进行抽查，对照相应标准进行检查评分； e) 被审查组织回访：通过电话或其他方式实时回访，及时获取对审查工作的反馈意见；通过走访、 座谈会等深度调查方式测评其满意度； f) 审查委托方调查：对审查工作的委托方进行调查，获取其对审
13、查工作的反馈意见，并测评其满意 结果。 DB4403/T 29-2019 5 7.2 设计数据采集表 7.2.1 总则 根据测评指标体系， 分别设计现场见证检查评分表、 现场暗访检查评分表、 现场复核检查评分表、 档案质量抽查评分表、被审查组织回访调查表、审查委托方调查表等数据采集表。 7.2.2 现场见证/现场暗访检查评估的关键要素 现场见证和现场暗访检查评估均通过现场观察许可审查人员在审查现场的工作表现后进行质量评 估评分。现场见证/现场暗访检查评估的关键要素参见附录A。 7.2.3 现场复核检查评估的关键要素 现场复核检查评估通过对已经完成现场审查的组织再次进行复核后，对原现场审查工作质
14、量进行 质量评估评分。现场复核检查评估的关键要素参见附录B。 7.2.4 档案抽查评估的关键要素 档案质量评估用来获取许可审查档案的质量情况。 定期对审查工作档案（包含纸质档案和电子档案）进行抽查并完成质量评估。其中纸质档案主要 从文书的准确性、规范性和工整性以及档案的完整性和一致性等方面进行评估；电子档案主要从内容 一致性、完整性和录入时效性等方面进行评估与评分。档案质量评估关键要素参见附录C。 7.2.5 被审查组织回访的关键要素 被审查组织回访与调查借鉴国际通用的ACSI模型， 用来获取对许可审查工作的反馈意见和满意度。 通过被审查组织人员对现场审查工作的预期、质量感知、满意度、抱怨度、
15、信任度等模块展开测 评。为快速、全面与准确地获取被审查组织的反馈信息，相应采用实时回访或深度回访形式。被审查 组织回访关键要素表参见附录D。 注： ACSI模型即客户满意度指数模型，该模型由客户对产品或服务的预期质量、感知质量、感知价值和客户满意程度、 忠诚度及客户抱怨（投诉）六个结构变量及其相应的指标构成。 7.2.6 审查委托方调查的关键要素 审查委托方调查用来获取审查委托方对许可审查工作的反馈和满意度等结果。调查借鉴国际通用 的ACSI模型，审查委托方调查指标体系由预期、质量感知、满意度、支持度和信任度等模块展开。审 查委托方的满意度得分由相关方人员对各项指标进行评分后根据满意度测评模型
16、计算得出。审查委托 方调查关键要素表参见附录E。 7.3 指标权重确定 质量测评各层级指标的权重采用德尔菲法、层次分析法等相结合分析的方式，依据指标的影响程 度和相对重要性进行确定, 附录F给出了部分数据采集方式指标权重的示例供参考。 7.4 样本设计原则 为确保测评结果的准确性，不同的测评数据样本采集方式，其设计依据原则如下： a) 现场见证: 样本应覆盖审查机构的所有许可审查人员； b) 现场暗访: 样本应覆盖审查机构的所有许可审查人员； c) 现场复查：样本应覆盖审查机构的所有许可审查人员； d) 档案抽查：总样本量应覆盖审查机构的所 有许可审查人员，并且应考虑覆盖所有类型的审查； DB
17、4403/T 29-2019 6 e) 被审查组织回访：实时回访应覆盖所有被审查组织，深度回访样本量应考虑覆盖被审查组织所 处的行政区域、规模和类型； f) 审查委托方调查：样本应覆盖所有的审查委托方，以及审查委托方的主要工作人员。 7.5 数据采集 按照选定的不同数据采集方式，分别实施质量测评和数据采集。为确保食品许可审查工作质量测 评结果的科学性、准确性和全面性，推动质量测评工作的可持续开展，本标准对上述六种不同的测评 数据采集方式明确了相应的实施要点。具体如下： 表2 不同数据采集方式的实施要点 测评数据采集方式 实施要点 现场见证 见证人员全程观察见证现场审查过程，获取风险类、过程类、
18、结果类指标参数； 行业专家参与现场见证，确保专业性。 现场暗访 在审查小组不知情的情况下全程观察现场审查过程，获取风险类、过程类、结果 类指标参数； 暗访人员应具专业性、灵活性、处理问题的技巧。 现场复核 对完成现场审查的组织再次复核，应在发证前进行；采集审查数据，与审查员的 审查数据比对评价，获取结果类指标参数； 由行业专家进行现场复核，确保专业性。 档案抽查 档案抽查应定期进行。获取风险类、过程类、结果类、时效类指标参数； 抽查人员应专业、严谨、细致。 被审查组织回访 简单访谈：应实时进行，调查关键参数； 深度回访：应具有代表性、信息参数全面； 回访人员应具备交流技巧，沟通能力，获取风险类
19、、过程类、结果类、时效类、 满意度指标参数。 审查委托方调查 应全面覆盖审查委托方的准入工作人员； 获取风险类、过程类、结果类、时效类、满意度指标参数。 7.6 结果统计 7.6.1 分项结果统计 按数据采集方式进行分项食品许可审查工作质量测评结果统计： 计算公式： Kj=CiWi Kj：第j项数据采集方式的统计结果，例如现场见证质量测评结果统计； Ci：第j项数据采集第i类指标值，例如现场见证质量测评中的风险类指标； Wi：第j项数据采集的第i类指标的权重，例如现场见证质量测评中的风险类指标权重，权重确定 原则见7.3， Wi=1。 7.6.2 综合结果统计 食品许可审查工作质量测评综合结果
20、由选定的各数据采集所形成的测评结果按照相应的权重综合 计算得出。综合得分可参考以下计算公式： Q= Kj j DB4403/T 29-2019 7 Kj：第j项数据采集方式的统计结果； j 代表第j项数据采集方式所形成的测评结果的权重,该项权重依据测评结果的重要性和可靠性 程度确定， j=1。 8 分析与改进 8.1 分析 根据测评结果，定期撰写质量测评结果通报，并汇总形成食品许可审查工作质量测评分析报告， 分析内容可包括以下： a) 测评结果及其对应关键要素分析； b) 审查工作质量横向对比分析； c) 审查工作质量纵向对比分析； d) 审查工作中存在的问题； e) 质量提升的对策建议； f
21、) 其他。 8.2 改进 根据质量测评分析报告实施改进： a) 根据测评分析报告提出的主要问题，编制质量改进行动计划； b) 研究审查工作存在的共性问题，进行必要的制度优化和流程优化； c) 对改进措施的有效性进行验证。 9 测评管理 质量测评项目需要测评委托方、质量测评机构协调配合、共同完成，发现问题，及时调整。 质量测评机构应建立适宜的管理体系，以保证测评满足测评委托方要求。 质量测评机构应制定测评方案， 包括总体安排、 测评方式与计划、 项目实施进度、 项目实施人员、 人员培训方案、月度与年度分析报告等。测评方案需经测评委托方认可。 测评委托方需提供适宜的资源，包括审查信息提供、资金支持
22、。 DB4403/T 29-2019 8 附录 A （资料性附录） 许可审查工作质量现场见证/现场暗访检查的关键要素 表A.1规定了许可审查工作质量现场见证/现场暗访检查的关键要素。 表A.1 许可审查工作质量现场见证/现场暗访检查的关键要素 测评指标 测评内容 廉洁自律 不利用工作之便“吃拿卡要” ，包括：不向被审查组织索取产品、 卡券、 现金或低价购买被审查组织产品； 不接受被审查组织馈赠、 红包；不参加被审查组织安排的娱乐活动等； 不提供有偿咨询服务。 工作纪律 守时性：按计划时间到达审查现场； 保密性：保守被审查组织商业秘密和技术秘密，不泄露被审查组 织信息； 专注性：审查现场专注工作
23、，不做与审查无关的事情。 工作作风 工作态度：和蔼可亲，易于沟通； 服务意识：主动告知，耐心解答； 工作形象：佩戴证件，着装整洁。 工作程序 预先告知：提前告知审查计划； 工作流程：出示证件首次会议现场审查拍照取证沟通讨 论形成结论末次会议； 审查程序：依据审查标准检查。 专业水平 熟悉流程、标准； 具备相关专业知识； 发现问题准确； 具备指导整改能力。 团队协作 审查组成员分工明确； 现场组织协调顺畅。 审查结论 公平公正：依据审查标准，保持审查一致性； 客观准确：结论客观，无主观臆测，符合实际情况，描述准确， 无虚假、夸大、缩小。 审查文书 准确：各项条款判断准确； 规范：文书书写规范，无
24、错项、漏项； 工整：字迹工整，清晰可辩，涂改有签名，不引起误解。 DB4403/T 29-2019 9 附录 B （资料性附录） 许可审查工作质量现场复核检查的关键要素 表B.1规定了许可审查工作质量现场复核检查的关键要素。 表 B.1 许可审查工作质量现场复核检查的关键要素 测评指标 测评内容 审查条款 按审查标准复核已审查的所有条款，判定原审查条款结论的真实准确性。 审查结论 公平公正：依据审查标准，保持审查一致性； 客观准确：结论客观，无主观臆测，符合实际情况，描述准确，无虚假、夸 大、缩小。 DB4403/T 29-2019 10 附录 C （资料性附录） 许可审查工作档案质量检查的关
25、键要素 表C.1规定了许可审查工作档案质量检查的关键要素。 表 C.1 许可审查工作档案质量检查的关键要素 测评指标 测评内容 档案质量 （书面） 文书 质量 准确性 各项内容书写准确，符合实际，无虚假、夸大、缩小。 规范性 文书书写规范，按要求填写，无错项、漏项。 工整性 字迹工整，清晰可辩，涂改有签名，不引起误解。 时效性 各个环节的时效（分派时效、审查时效、报批时效、 归档时效） ； 在规定时间内完成档案建档 完整性 各项材料完整，无遗漏。 一致性 归档清单与实际材料一致。 档案质量 （电子） 时效性 在规定时限内整理及上传审查材料。 完整性 各项材料完整，无遗漏。 一致性 系统录入与纸
26、质档案保持一致。 DB4403/T 29-2019 11 附录 D （资料性附录） 被审查组织回访调查的关键要素 表D.1规定了被审查组织回访调查的关键要素。 表 D.1 被审查组织回访调查的关键要素。 测评指标 测评内容 廉洁自律 不利用工作之便“吃拿卡要” ，包括：不向被审查组织索取产品、卡券、 现金或低价购买被审查组织产品；不接受被审查组织馈赠、红包；不 参加被审查组织安排的娱乐活动等； 不提供有偿咨询服务。 工作纪律 守时性：按计划时间到达审查现场； 保密性：保守被审查组织商业秘密和技术秘密，不泄露被审查组织信 息； 专注性：审查现场专注审查，不做与审查无关的事情。 工作作风 工作态度
27、：和蔼可亲，易于沟通； 服务意识：主动告知，耐心解答； 工作形象：佩戴证件，着装整洁。 工作程序 预先告知：提前告知审查计划； 工作流程：出示证件首次会议现场审查拍照取证沟通讨论 形成结论末次会议； 审查程序：依据审查标准检查。 专业水平 熟悉流程、标准； 具备相关专业知识； 发现问题准确； 具备指导整改能力。 满意度 总体感知； 与预期比； 与理想比。 信任度 信任程度。 抱怨度 投诉情况； 抱怨程度。 DB4403/T 29-2019 12 附录 E （资料性附录） 审查委托方满意测评的关键要素 表E.1规定了审查委托方满意测评的关键要素。 表 E.1 审查委托方满意测评的关键要素 测评指
28、标 测评内容 廉洁自律 有无收到廉洁方面的投诉或发现存在不廉洁行为。 工作纪律 是否按计划审查； 保守被审查组织秘密。 工作作风 工作态度； 服务意识； 工作形象。 专业水平 熟悉流程、标准； 具备相关专业知识； 发现问题准确； 具备指导整改能力。 档案质量 差错率； 公平公正。 审查结果 客观准确； 公平公正。 满意度 总体感知； 与预期比； 与理想比。 信任度 工作信任程度。 支持度 工作支持程度。 DB4403/T 29-2019 13 附录 F （资料性附录） 现场见证/现场暗访检查评分表及指标权重示例 表 F.1 给出了现场见证/现场暗访检查评分表及指标权重示例。 表 F.1 示例，
29、以现场见证和现场暗访两种数据采集方式为例，提供根据本标准表 1 及附录 A 所设 计的现场见证/现场暗访检查评分表及指标权重示例供参考， 测评机构可结合审查工作实际情况科学合 理确定各指标权重。其他数据采集方式及指标权重确定亦可参照本示例。 表 F.1 现场见证/现场暗访检查评分表及指标权重示例 测评 项目 指标类目 及权重 核心指标项 及权重 评分项 现场见证/ 现场暗访 测评 风险类40% 廉洁自律20% 不利用工作之便“吃拿卡要” ，包括：不向被审查组织索取 产品、卡券、现金或低价购买被审查组织产品；不接受被审 查组织馈赠、红包；不参加被审查组织安排的娱乐活动等。 不提供有偿咨询服务。
30、工作纪律10% 守时性：按计划时间到达审查现场； 保密性：保守被审查组织商业秘密和技术秘密，不泄露被审 查组织信息； 专注性：审查现场专注工作，不做与审查无关的事情。 工作作风10% 工作态度：和蔼可亲，易于沟通； 服务意识：主动告知，耐心解答； 工作形象：佩戴证件，着装整洁。 过程类30% 工作程序15% 预先告知：提前告知审查计划； 工作流程： 出示证件首次会议现场审查拍照取证沟 通讨论形成结论末次会议； 审查程序：依据审查标准检查。 专业水平10% 熟悉流程、标准； 具备相关专业知识； 发现问题准确； 具备指导整改能力。 团队协作5% 审查组成员分工明确； 现场组织协调顺畅。 结果类30% 审查结论15% 公平公正：依据审查标准，保持审查一致性； 客观准确：结论客观，无主观臆测，符合实际情况，描述准 确，无虚假、夸大、缩小。 审查文书15% 准确：各项条款判断准确； 规范：文书书写规范，无错项、漏项； 工整：字迹工整，清晰可辩，涂改有签名，不引起误解。
