高质量数据集的特征

通识高质量数据集、行业通识高质量数据集和行业专识高质量数据集都具有知识内容、来源类型、时效性、标注人员类型、敏感程度、模型类型、主题范围等方面的特征。知识内容指数据集中数据所蕴含知识的专业性、知识深度和目标受众;来源类型指数据集中数据的获取来源如网络资7源、文献类型、系统平台、组织机构等来源;时效性指数据集中数据的更新速度或有效期限; 标注人员类型指对数据集中数据进行标注或审核的人员类型; 敏感程度指数据集中数据公开后所产生的风险程度;模型类型指数据集中数据支持开发和训练人工智能模型的类型; 主题范围指数据集所涉及通用知识领域、行业领域、业务场景等的范围。通识数据集具有以下特征在知识内容方面数据集中数据所承载信息蕴含的知识面向社会公众以基础概念、通用原理、典型事例等常识性知识为主无需专业背景即可理解; 在来源类型方面,数据集中数据无明确来源或主要来自百科、问答、互联网平台短视频类、新闻门户类、用户内容生成类、视听资讯类、新闻机构类等等网络资源综合性书籍等类型文献以及由合成数据技术生成; 在时效性方面数据集中数据一般在较长时间内保持稳定时效性较低。如年度国民经济统计公报、重大事件新闻报道等一经发布即可在较长时间内作为信息参考较少出现频繁调整变更的情况在标注人员类型方面数据集中数据通常由普通数据标注员标注对行业领域专业背景和专业资质等级无特殊要求在敏感程度方面数据集中数据的敏感程度较低不涉及国家秘密、工作秘密、商业秘密、个人隐私等在模型类型方面数据集中数据用于支持开展通用模型、行业模型的开发和训练在主题范围方面数据集不属于特定行业领域主题范围较广。行业通识数据集具有以下特征在知识内容方面数据集中数据所承载信息蕴含的知识聚焦于各行业领域的共性知识以行业领域的基础理论、通用技术、共性业务为主面向行业领域的从业人员需要一定的专业背景才能理解和运用在来源类型方面数据集中数据来源清晰主要来自论文、报告、标准、专利、技术文档、非综合性书籍、官方文件等类型文献行业领域的主管部门、协会、科研机构、企业、出版传媒机构等组织机构以及由合成数据技术生成 在时效性方面数据集中数据一般根据行业发展和管理需求变化相对比较稳定时效性高于通用知识低于行业专业知识在标注人员类型方面数据集中数据通常由行业领域内具备一定学科背景或相关从业经历的人员标注在敏感程度方面数据集中数据的敏感程度较低不涉及国家秘密、工作秘密、商业秘密、个人隐私等在模型类型方面数据集中数据用于支持开展通用模型、行业模型的开发和训练在主题范围方面数据集主要聚焦于行业领域内部但也应考虑上下游及周边相关行业领域知识对于该行业知识的影响与补充主题范围中等。行业专识数据集具有以下特征在知识内容方面数据集中数据所承载信息蕴含的知识聚焦于各行业领域组织机构内部的专业知识以组织机构自身业务中从研发、生产、管理、营销和服务等环节产生和积累的知识为主面向内部业务人员需要较深的专业背景和业务经验才能理解和运用。在数据来源方面数据集中数据来源清晰由组织机构日常生产经营生成和采集主要来自组织机构内部的业务系统、管理平台等系统平台或文档图纸等文献。在时效性方面数据集中数据一般根据业务场景需求变化满足数据处理及时性要求时效性较高。在标注人员类型方面数据集中数据通常由行业领域内具备深厚专业知识、丰富实践经验和高度权威性的专家标注。在敏感程度方面数据集中数据的敏感程度较高仅供内部特定岗位人员使用应用前需要明确权限和授权。在模型类型方面数据集中数据用于支撑开展行业模型的开发和训练在主题范围方面数据集主要聚焦于业务场景主题范围较窄。