杨 斌1，杨济海2（1．国家电网公司，北京100031；2.国网江西省电力公司信息通信分公司，江西 南昌330077），我来为大家讲解一下关于大数据在能源领域的应用?跟着小编一起来看一看吧!
大数据在能源领域的应用
杨 斌1，杨济海2
（1．国家电网公司，北京100031；2.国网江西省电力公司信息通信分公司，江西 南昌330077）
摘 要： 电力通信网是电力系统的专用支撑网，电力通信网本身的智能化、自动化和管理水平决定了其对电网业务的支撑能力，是智能电网、能源互联网能否真正实现并产生社会和经济效益的关键。通过对电网通信的现状进行分析，论证了开展大数据研究的可行性和必要性，提出了资源实体、支撑能力、管理提升、系统提升、数据可视化五个应用方向。举例说明了如何针对电网通信的需求进行“按需选法”将大数据成果与实践相结合，分析了电网通信在应用大数据后，如何实现通信网的支撑能力提升和电网业务可靠性提升，如何通过数据价值为电网企业创造效益。
0 引言
在“互联网 ”时代，以大数据为代表的新一代信息通信技术已经深度融合于各个专业领域中。智能电网、能源互联网的核心特征就是网架坚强、广泛互联、高度智能和开放互动，电网技术和信息通信技术的全面融合，是推动电网向能源互联网发展的根本动力。电力系统的专用支撑网——电力通信网本身的智能化、自动化和管理水平决定了其对电网业务的支撑能力，是智能电网、能源互联网能否真正实现并产生社会和经济效益的关键。目前国内外针对能源互联网和电力系统的大数据研究已经全面开展起来，但是对于电网通信的大数据却尚未有公开的研究成果。随着电力通信网信息化程度的不断加深，通信管理、设备运行、网络建设等方面的海量数据已经逐步积累下来，其中蕴藏了巨大的价值亟待发掘，将大数据应用于电网通信迫在眉睫。
1 现状
大数据具有体量大、结构多样、时效强等特征，其数据量巨大到无法通过人工在合理时间内处理并提取出适合人解读的信息。大数据的实现必须采用新型计算架构和智能算法，在应用层面则强调以新的理念驱动辅助决策和发现新的知识。
国内外的大型企业都已经在全面开展大数据研究，向数据要效率，向数据要效益。要满足电力数据飞速增长，满足电力工业发展的需要，必须要依靠高性能计算、数据挖掘、统计分析、数据可视化等多种学科知识，电力系统必须提前、主动、全面开展数据分析和挖掘。
随着国家电网公司“三集五大”体系的深入发展，坚强智能电网建设迅猛，企业信息化工作全面推进。作为智能电网重要支撑的电力专用通信网络通过三年的跑步前进迈入了信息化管理阶段，建成了一套总部和省公司“两级部署“，总部、分部、省公司、市县公司“四级应用”的通信管理系统“SG-TMS”。通过标准化规范化的项目建设以及对系统实用化的大力推进，“SG-TMS”已经深度融入数万电力通信专业人员的日常工作中，并且全面采集了数万台设备几年来的建设、运行、管理数据，积累下来的海量电力通信数据和众多外部系统数据、公共数据一同形成了开展大数据分析的基础。
2 应用方向分析
开展电力通信网大数据应用，不能仅仅只关注通信网本身，而应着眼于通信网如何支撑智能电网乃至能源互联网的实现。能源互联网是以电力系统为核心，以信息通信技术和新能源发电等技术为基础的复杂多网流系统，其中通信技术起到了支撑能源互联网实现跨系统、跨平台数据交互的作用，是能源互联网实现分布式、开放性等关键特征的基础，电网通信的大数据必须把提升对电力系统的支撑能力、满足电力系统发展的新需求作为核心出发点开展工作。开展电力通信网大数据应用，也不能仅仅只是针对数据本身进行计算分析统计，而是要以问题为导向，通过挖掘潜在规律，全面指导设备运行、业务支撑、专业管理、系统提升等多个方面工作；通过数据可视化，将决策者、管理者乃至最基层的工作人员需要了解的有价值信息呈现在他们面前。同时要避免仅依托某个系统或者某个单一数据源的数据，必须要考虑多方外部数据的引入，只有将多源的数据进行碰撞，才可以进一步开拓新的分析维度、放大数据的价值和能量，最大限度提升企业效益。具体在数据分析时可以考虑从以下五个方向着手：
（1）资源实体分析
综合分析各类设备、设施的状态和各类影响因子的关联关系，发掘其中的隐藏规律。例如分析设备故障的发生和品牌、型号、地域、气候、机房环境、运维人员素质、维护频度之间的关系，可以指导采购、运维人员配置和运维措施的制定。甚至可以根据外部条件的变化情况预测设备故障发生的趋势，在故障出现之前提前开展检修消弭隐患。
（2）支撑能力分析
全量分析各类电网业务特征、业务状态，可以分析出网络瓶颈指导电力通信网的扩容改造关键点，基于现有数据实时分析业务发展趋势并进行业务需求预测可以将指导规划建设，缩短项目筹备周期，可以使企业投资更加精准高效，提升投资产生的效益。
根据业务特征计算业务可靠性，根据历史发生的所有缺陷、故障影响的业务情况总结提炼出业务方式的最佳安排规则，例如宏观上可以获取继电保护业务经过站点数小于多少个的情况下最为可靠，业务安全性是否有和下级通信网承载上级业务有关联；细节上可以根据经过设备、缆路的多少及其运行状态，是否配置了迂回路由等条件在方式开通时就计算出每条业务的可靠性，并且实时监控业务可靠性的变化状态，在检修、故障、方式调整等情况下导致网络环境发生变化时，及时预警业务可靠性下降的风险。
（3）管理提升
智能电网通信的信息化管理系统中已经积累了大量检修数据、方式数据、运行记录数据，其中既有规范的结构化数据如检修类型、执行日期等，也有很多类似运行记录一类的半结构化数据，还有很多类似路由方式描述、“三措一案”文档、图片等非结构化数据。通过对这些过程和结论数据的深入分析与挖掘，可以总结出管理规律，对现有的制度和管理方式进行优化和合理安排。还可以通过大数据手段实现对运行方式、“三措一案”等流程化工作的机器自动初审、对工作记录的自动辅助纠错补缺等智能化功能，降低管理人员劳动强度，提升方式、检修审批效率和记录规范性。
（4）系统提升
在功能实现和优化方面，通过部署用户行为分析功能分析用户行为，记录和分析不同身份用户的操作轨迹和功能使用集中度，实现对不同角色用户的操作界面优化定制，将每个用户最关心和使用频率最高的功能放置在最容易观察和操作的位置，并且指导系统的操作编排策略，调整菜单位置和界面，提升友好性。
在数据质量方面针对目前的海量存量数据，通过机器学习，自动联想的功能提升数据质量，不仅仅是纠正数据格式层面的简单错误，而是从逻辑分析的角度进行纠错，将需要投入大量人力时间都无法完全完成的工作，交由机器完成。
目前电网通信的信息化管理系统，主要通过北向接口数据采集、用户人工录入、资源业务关联等手段录入数据，需要投入大量的人工劳动。通过大数据的方式总结关联和录入规律，实现辅助录入、自动录入和录入纠错功能，能够提高人工效率并极大地提高整个电网通信信息化数据质量。
（5）数据可视化
通过数据可视化采用基于层次、基于图形、基于几何投影等不同展现方式，将原始数据中不容易被察觉的数据联系呈现在不同角色面前。可以让决策者获得宏观上有价值的趋势性数据，也可以让监视管理人员发现资源实体或者业务支撑层面发生的微小变化。
也可以通过设置监控大厅，对大数据提炼出来的信息进行7×24小时监测，全面跟踪电网业务及通信的运行状态和发展趋势，及时响应出现的异动，通过电力通信网成熟的分级调度体系，迅速调集优势力量消除隐患、改善运行状态，将风险防范于未然。
3 技术选择及场景分析
开展电网通信的大数据工作不但要完成描述性任务展示当前状态，也要充分考虑预测性任务指导远期工作，这就需要综合运用多种技术和算法。在技术选择时应遵循“按需选法”的原则，即从实际需求出发，先确定要展示和呈现的内容，预设要达到的效果，再选择合适的提炼方式和算法，只有这样才能确保数据挖掘的成果与实践相结合，并为电网所用。下面介绍一些可以应用于智能电网通信管理数据挖掘的技术及可能应用的场景。
（1）数据特征化
使用数据特征化（Data characterization）技术，可以实现对目标类数据的一般特性的汇总，并输出多维表或者广义关系规则。
例如通过对通信光缆占用率、设备带宽占用率和槽位占用率等不同的数据特征来组织数据并进行维度挖掘，通过将资源按占用高低进行分析和展示，再采用OLAP的方法进行上卷或者下钻，最终可以发现占用率高的光缆和设备有所属站点电压等级高、电网出线方向多、光缆跨距长等特征，此结论可应用于指导后期的光缆建设中，针对有上述特征的光缆加大建设容量。在应用大数据的方法之前，因为无法通过人力对百万公里级数的光缆进行深度分析并且提炼规律，在配置光缆容量的过程中更多的是依靠典型配置、估算等方法。
（2）挖掘频繁模式
频繁模式（Frequent pattern）是数据中频繁出现的模式，主要用于挖掘数据中的关联和相关性。
在需要寻找设备故障、检修频率、承载业务、运行状态、网络结构等多影响因子之间的关联关系时，可以通过Apriori算法发现频繁项集、设置多维关联规则寻找数据规律。通过贝叶斯定理提供的预测算法，预测网络中每一台设备、缆路可能发生故障的概率，或者分析网络上每一个操作或者每一个对象的故障会造成的影响，进而分析整个通信网络的可靠性和对电网业务的支撑能力。
（3）离群点分析
离群点(Outlier)是指数据集中可能包含一些数据对象，它们与数据的一般行为或模型不一致，这些数据就是离群点。在验证数据有效性并开展AI辅助纠错时需要进行离群点分析。
例如对光缆芯数组成进行离群点分析，可以发现在除了常用的12、24、36、48等芯数的光缆之外，还会存在有极少数的11、13、25等芯数的光缆，这些组成方式在现实中是不可能存在的，可以判断为错误数据，在统计计算中需要剔除其影响，并且可以进一步从错误数据的其他维度进行OLAP下钻并进行特征对比和关联性分析，选择可能性最大的原因尝试进行修正。比如把11、13修正成12，25修正成24等，当然这种修正并不是简单的数据分档归一化，而要在海量数据的基础上应用分类、预测和回归等技术，涉及到许多复杂的算法。
（4）聚类分析
聚类分析（Clustering）是根据最大的相似程度、最小的类间相似程度的原则进行聚类或者分组。我们在进行业务分析预测时，可以将起点、终点、路径、速率各不相同的海量调度生产业务、经营管理业务进行聚类分析，最终从业务类型、等级等方面等得出各类业务在带宽占用、路径占用等方面的特征，从而获取业务量、增长量并预测带宽需求发展趋势。这些信息可以从宏观上指导智能电网专用通信网络的建设和改造方向。
通过将涉及电网继电保护、安全稳定控制、调度数据网等重要生产业务的历史故障和缺陷情况进行概率层次聚类分析，发掘出风险关联性，找到共性规律和通用薄弱环节，制定相应的对策和防范措施提升电网业务的可靠性，预测并在故障和缺陷发生之前进行加固和防护，大幅度提高电网业务的安全运行水平。
4 结语
通过将大数据应用于电网通信，可以构建数据价值支撑电网通信的管理框架，组建开放式的电网通信数据价值管理体系，实现对电网业务和通信网络发展趋势的分析预测，自动预判瓶颈和故障，机器学习，AI辅助工作等智能化功能。可以结合不同类型电网业务的发展和运行情况，总结提炼出隐藏规律，更有针对性地指导项目建设、改造、大修和设备选型的开展，在方式安排、方案设计上的切入点将更加精准，并大幅度提高电网的投资利用率。
大数据带来的更加丰富的管理手段，将促进电网通信运行水平和管理效率的提高，为能源互联网的实现打下坚实的新型体系支撑、实体网络支撑和通信技术支撑基础，在进一步提升电网安全预控水平和供电可靠性的同时，带来巨大的社会效益。
参考文献
[1] Han Jiawei，Micheline Kamber，Jian Pei.数据挖掘与技术[M].北京：机械工业出版社，2012.
[2] 王继业，郭经红，曹军威，等.能源互联网信息通信关键技术综述[J].智能电网，2015(06).
[3] 陈星莺，张晓花，瞿峰，等.数据挖掘在电力系统中的应用综述[J].电力科学与技术学报，2007(03).
[4] 程学旗，靳小龙，王元卓，等.大数据系统和分析技术综述[J].软件学报，2014(09).
[5] 米允龙，米春桥，刘文奇.海量数据挖掘过程相关技术研究进展[J].计算机科学与探索，2015(06).
[6] 张东霞，苗新，刘丽平，等.智能电网大数据技术发展研究[J].中国电机工程学报，2015(01).
[7] 董朝阳，赵俊华，文福拴，等.从智能电网到能源互联网：基本概念与研究框架[J].电力系统自动化，2014(15).
[8] 孟小峰，慈祥.大数据管理：概念、技术与挑战[J].计算机研究与发展，2013(01).
[9] 曹孝元，胡威，陈亮，等.建设大数据时代的透明电力通信网[J].电力信息化，2012(10).
,
