欢迎您,访问中华环保宣传网
数据仓库、数据湖...智慧水务如何玩转大数据? 中标价21.2亿元!当地国资预中标青岛市农村生活污水治理一揽子工程 贺克斌:实现碳中和 将给中国带来哪些变化? 【长林动态】你奉献一座城 我温暖你的心 大气污染防治工作问题突出 河北省大气办公开约谈石家庄市政府 总投资5.06亿元 安徽省宁国城北污水处理厂和小南河治理项目已完工! 泓济关注丨碳达峰碳中和重磅文件出台 环保企业的机遇有哪些 酒钢宏兴公司本部1号2号焦炉优化升级建设项目烟气脱硫脱硝工程施工总承包采购中标候选人公示 银行间与交易所碳中和债券市场多视角观察 中国环境监测总站在安徽省宣城、马鞍山市组织开展环境空气挥发性有机物(VOCs)自动监测现场质控检查 高能环境:第三季度净利增34.17%至1.93亿元 广州市第五资源热力电厂二期项目新进展 李政:实现双碳目标 要秉承“不拖、不急”原则 瀚蓝环境:第三季度净利降1.96%至3.02亿元 最新世界气象组织《温室气体公报》:一年一个新记录 浙江省《海绵城市建设区域评估标准》(征求意见稿) 近9亿!光大环境中标山东胶州市废弃物综合处置产业园项目 大力推进源头替代 VOCs排放控制标准体系已基本建成 营收增长 市占率提升 宇通重工发布三季度报告 北京市生态环境部门开展今年第六轮“点穴式”执法发现环境问题82个 启迪环境业绩“大变脸” 研究 | 碳中和债券的法律监管及发行审核要点 华航承诺到2050年实现净零碳排放 普通人如何试图帮助阻止气候变化从电动船到氢气巴士 新研究认为美国公共问题对政府和企业的挑战以帮助他们更可持续地生活 报纸的可持续性如何 CTA预算要求降低通行证价格 更快更环保的巴士服务 庆祝环保万圣节的提示和技巧 城市将采购与可持续发展目标保持一致 您的网站可能正在破坏环境 这是清理它的方法 宝洁韩国致力于将环境影响降至最低与非政府组织和政府合作 可持续性和自行车行业 Golden King推出环保椅子融合奢华和耐用性 适合户外生活 酷玩乐队的天体音乐世界巡演将环保 使用柠檬酸提取稀土金属的减少煤炭浪费的环保方法 6单元的生态友好联排别墅社区俾斯麦来到历史悠久的建伍 Pitch final15专注于可扩展的与环保的解决方案以增加营养 如何过一个环保的万圣节 让麻醉更环保 俄罗斯大部分地区现在面临变成尘土飞扬的风险 联合国呼吁各国将当前局势复苏塑造为“真正的绿色和可持续转型” 陆地植物的到来改变了地球的气候控制系统 亚洲高山冰川融化是温室气体的潜在来源 全球研究揭示保护区的有效性 埃克森美孚将参与苏格兰的碳捕集和封存项目 怪物鲨鱼电影大屠杀鲨鱼保护 美国玉米和大豆不适应气候变化 气候变化给整个欧洲带来更强烈的风暴 野火烟雾暴露与感染当前局势的风险增加有关 近20%的完整森林景观与采掘业重叠

您的位置:首页 >展会聚焦 >

数据仓库、数据湖...智慧水务如何玩转大数据?

来源:给水排水更新时间:2021-10-28

大数据技术日益成熟,在各行业发挥了巨大的作用,与水务行业的深度融合亦是智慧水务创新发展的趋势。智慧水务大数据分析标准以大数据构建和分析标准为主要内容进行研究,提出智慧水务大数据三层架构,初步构建分析标准体系,为水务企业智慧水务大数据建设和分析应用提供参考资料。

0 引言

随着智慧水务的发展和水务数据的指数级别增长,水务企业面临着严峻的数据管理问题。将大数据技术及其应用分析引入到水务行业,更好地挖掘和使用这些数据,将会释放出更多的隐藏价值。智慧水务大数据分析通过集成和优化多个业务部门的协同应用,对水务企业整体的综合绩效和关键事件进行分析和统一管理,从信息集成平台接受并处理来自多个业务系统的数据,连续不断地监控重大事件、预测趋势并做出相应的输出,对生产运行进行量化考核,从而实现决策的科学化,体现智慧水务建设对水务企业运营数据的深层次挖掘和应用。

智慧水务大数据平台能够提高信息系统交互速度和质量,及时、准确、全面地掌握企业的整体状况。但是如何应用大数据技术,如何构建大数据架构,如何进行大数据分析还缺乏指导规范,需要建设相关的平台构建标准和分析指标体系。因此,研究智慧水务大数据构建和分析标准能够有力推动智慧水务建设和发展,能够更好地帮助水务企业开展具有针对性的分析、研究工作,有效地制定相关发展措施和建立相关考核体系,帮助水务企业制定科学的发展战略。

1 智慧水务大数据建设目标

1.1 实现水务全要素信息采集和存储

数据采集、存储、整合是智慧水务大数据分析的前提和基础。运用大数据技术,帮助水务企业实现从原水到水厂、从管网到用户等环节全方位、全要素的信息采集,消除信息孤岛实现系统的互联互通,实现海量数据的传输与存储。构建智慧水务数据仓库和数据湖,实现数据资源标准化、数据来源唯一化和信息流程简洁化,对数据进行集中管理,实现大数据整合应用。

1.2 打造水务大数据资源标准和规范

智慧水务大数据的分析应用,数据资源的标准化建设是重中之重,参考现有大数据的国家标准和行业规范,结合智慧水务对大数据标准化需求,提出了大数据标准体系框架(见图1),具体的标准规范由水务企业按需梳理和建设。

图1 智慧水务大数据标准体系

智慧水务大数据标准体系由7个类别的标准组成,分别为基础标准、数据标准、技术标准、平台标准、应用标准、安全标准和管理标准。

基础标准:为整个标准体系提供包括总则、术语、参考架构和通用要求等基础性标准。

数据标准:为数据资源相关要素进行规范,包括数据资源规范和编码分类标准。

技术标准:为大数据相关技术应用进行规范,包括描述评估、处理分析和互操作等技术应用标准。

平台标准:为大数据平台应用、工具产品进行规范,指导建设数据仓库、数据集市、数据湖等涉及技术、功能和接口要求,包括数据平台和工具平台等标准。

应用标准:为大数据在水务行业所能提供的应用和服务制定的标准,包括数据交换共享、数据访问和数据应用等要求。

安全标准:为保障大数据安全进行规范,包括通用安全和行业安全等要求。

管理标准:为大数据管理制定的支撑体系,贯穿于大数据整个生命周期,包括数据运维、数据治理和数据评估等要求。

1.3 构建水务大数据分析平台和体系

利用大数据技术,构建水务大数据分析平台并对水务运行管理状态进行梳理,建立一套可量化、标准化的分析指标体系,对城市水务情况进行全面统计与深度分析,为数据消费者提供大数据服务。利用知识图谱和深度学习技术,建立各个业务条线的分析算法模型,挖掘水务行业海量数据中的潜在价值,提升水务企业科学决策能力。

2 智慧水务大数据构建标准

智慧水务大数据构建首先是明确业务场景和应用需求,从而决定数据源和数据采集的范围,并按照数据资源的标准和规范进行数据整合;其次是确定大数据平台要具备的基本的功能,以此选择大数据处理工具和技术框架,并设计大数据中心的数据处理流程;最后是构建顶层的数据决策平台,选择数据挖掘工具并建立大数据分析模型,提供各类大数据分析应用。

因此,智慧水务大数据构建可分为数据整合、数据治理和数据应用三大步骤,对应的技术架构自下而上分为三个部分(见图2),分别是数据层、大数据中心和数据决策层。

图2 智慧水务大数据三层架构

(1)数据层。针对不同业务和应用系统进行分析,制定数据采集范围与目标,收集各系统产生的全要素信息,将各种结构化、半结构化和非结构化数据进行整合,为智慧水务大数据的分析提供支撑。水务系统的数据通过数据层汇至大数据中心需经历数据抽取、过滤、清洗、转换和装载等数据准备过程。

数据抽取:通过系统接口和ETL工具进行数据集成,从智慧水务体系各应用系统中抽取大数据中心需要的数据。

数据过滤:按照相应规范和需求进行数据筛选,快速高效地过滤出有价值的信息。

数据清洗:为保持数据一致性,需对数据无效值、缺失值、重复数据进行处理和加工。

数据转换:将数据按照业务需求,转换成大数据中心要求的形式。

数据装载:将经过清洗和转换之后的数据加载到大数据中心。

(2)大数据中心。智慧水务大数据中心汇聚了水务系统全要素信息数据,按照数据资源集合形式可分为两类:一类是数据仓库和数据集市,主要存储大数据技术治理后结构化的数据,数据仓库主要包括主数据、元数据、参考数据和一般数据,数据集市是针对特定业务和场景需求进一步构造的数据仓库子集,大数据中心中会有多个智慧水务业务条线的数据集市;另一类是数据湖,能够存储结构化和半结构化的数据,相较于数据仓库存储了更多的原始数据,数据不需要进行清理和转换,能够随时取用信息进行大数据分析,具有广泛数据发现和多维交叉分析优势。广义上数据湖可以包含数据仓库,但在大数据中心架构中,两者是互补互促的大数据应用格局。

(3)数据决策层。智慧水务大数据分析常用方法有可视化分析、预测性分析、数据挖掘算法和语义引擎等,通过可视化数据分析平台来直观展示海量数据关联,通过建立水务专业知识模型来预测未来状态和风险,通过信息集成来提供决策参考信息,通过为已有数据添加语义来获取非结构化数据的信息价值,最终为水务企业提供预警预测、风险识别、主动决策和综合治理等分析应用和数据服务。

3 智慧水务大数据分析标准

2020年 1月,中国城镇供水排水协会发布的《中国城镇水务 2035年行业发展规划》中指出“要明确智慧水务的概念、内涵及指标体系”,本文以供水行业为例,结合国内供水行业的特点和大数据应用场景因素,将供水行业大数据分析指标分为生产、经营、管理和服务型四类,以构建供水大数据分析的标准体系(见图3)。

图3 供水大数据分析指标体系

(1)生产型指标。城市供水生产的可靠性、持续性和高效运行关乎城市供水安全,从水源、水厂、管网、管网中途泵站、小区二次供水再到用户,生产链条环节上的大数据分析指标,反映了供水企业生产效率的高低、管理计划执行等情况,有助于发现问题并采取改进措施(见表1)。

表1 生产型指标

(2)经营型指标。供水企业需要了解其经营管理、管理效率和经济效益情况,制定供水管理、水表管理、抄表管理、收费管理方面等经营维度的大数据分析指标,能够帮助管理部门找出存在不足的和重点提高的地方,从而提升供水企业的经营管理水平和经济效益(见表2)。

表2 经营型指标

(3)管理型指标。在剖析供水企业管理需求和综合提升的基础上,重点从综合调度、工程管理和安全管控三方面提炼大数据分析指标,打破各业务部门独立管理的数据流程壁垒,构建供水企业统一监管、全程管控的数据应用机制,进一步提升运营管理能力,降低运营管理成本(见表3)。

表3 管理型指标

(4)服务型指标。供水企业服务以供水用户为核心,提供客户服务和供水保障服务,其大数据分析指标一方面可以为业务决策提供精准数据支撑,提升日常工作效率,另一方面经过深加工的高价值数据能为社会提供更多服务,进而实现大量沉淀数据的增值应用(见表4)。

表4 服务型指标

4 展望

智慧水务大数据分析标准研究贯彻了国家大数据发展战略,能够帮助水务企业进一步推进数据资源整合共享,促进智慧水务大数据发展与创新应用。本文讨论了智慧水务大数据分析的初步构建标准和指标体系,兼顾了数据仓库和数据湖并存的情况,为智慧水务大数据融合创新建立了一定的基础。

未来智慧水务大数据分析应用需要紧密结合水务行业的研究热点,通过大数据技术解决实际问题,如生产运行节能降耗、产销差漏损管控、客户主动服务等,水务企业还需进一步推进数据整合和利用,创新大数据应用,提升大数据价值,持续提高基于大数据分析的管理能力和服务水平。


热点图文

数据仓库、数据湖...智慧水务如何玩转大数据?
数据仓库、数据湖...智慧水务如何玩转大数据?
6单元的生态友好联排别墅社区俾斯麦来到历史悠久的建伍
6单元的生态友好联排别墅社区俾斯麦来到历史悠久的建伍
亚洲高山冰川融化是温室气体的潜在来源
亚洲高山冰川融化是温室气体的潜在来源
气候变化威胁依赖鱼类的许多国家的粮食安全
气候变化威胁依赖鱼类的许多国家的粮食安全
机器人技术如何帮助环境友好型建筑
机器人技术如何帮助环境友好型建筑
典型案例丨四川乐山产业转型升级推进缓慢 陶瓷等行业一些项目盲目发展问题突出
典型案例丨四川乐山产业转型升级推进缓慢 陶瓷等行业一些项目盲目发展问题突出
重复使用10%将阻止近一半的塑料垃圾进入海洋
重复使用10%将阻止近一半的塑料垃圾进入海洋
我国城市泵站需求分析:内涝治理为增长主驱动力 配套设备也将受益得到发展
我国城市泵站需求分析:内涝治理为增长主驱动力 配套设备也将受益得到发展
本站部分图片和新闻内容来源网络,如有侵权请联系我们删除。

版权所有:中 华 环 保 宣 传 网