淺談對歷史頻譜數(shù)據(jù)的數(shù)據(jù)挖掘

國家新聞出版廣電總局五五三臺自1955年建立伊始就承擔著我國廣播監(jiān)測的繁重任務(wù)，60多年來頻譜負荷收測一直是我臺的主要工作之一，經(jīng)過臺內(nèi)幾代收測人員的辛勤勞動，我臺現(xiàn)存放著自上世紀50年代至今的海量頻譜原始數(shù)據(jù)，包括國內(nèi)中央臺廣播數(shù)據(jù)，以及大量我臺能夠收測到的海外對華廣播及途徑我臺的海外廣播，所涉電臺、語種數(shù)目都極其龐大。通過合理利用這些數(shù)據(jù)，我們將能夠得以從中窺探出世界廣播發(fā)展、變革的軌跡，進而對我國目前的頻譜資源管理提供有價值的信息和解決方案。然而，要達到這一目標，首先要解決如何從巨大體量的數(shù)據(jù)中挖掘有用信息和知識這一難題。

一、基于大數(shù)據(jù)的數(shù)據(jù)挖掘技術(shù)

（一）大數(shù)據(jù)的定義

關(guān)于大數(shù)據(jù)的確切定義，目前尚無獲得統(tǒng)一公認的說法。IBM用4V特性來描述大數(shù)據(jù)所擁有的特點：巨大的數(shù)據(jù)量（Volume）；高速率（Velocity），體現(xiàn)了大數(shù)據(jù)產(chǎn)生效率的實時性；多結(jié)構(gòu)化數(shù)據(jù)（Variety）則從數(shù)據(jù)類型的角度體現(xiàn)了大數(shù)據(jù)的多元化，除了傳統(tǒng)的文本數(shù)據(jù)外，圖片、影視頻數(shù)據(jù)也成為先階段大數(shù)據(jù)技術(shù)的熱門存儲對象；價值密度低（Value），意味著要從低價值的原始海量數(shù)據(jù)中進行深度挖掘和計算，總結(jié)出具備高價值的數(shù)據(jù)。

（二）基于大數(shù)據(jù)的數(shù)據(jù)挖掘技術(shù)

數(shù)據(jù)挖掘的目的是為了從大數(shù)據(jù)中獲得知識，很多時候數(shù)據(jù)挖掘也被稱之為KDD，即數(shù)據(jù)庫中的知識發(fā)現(xiàn)。顯然，一個數(shù)據(jù)挖掘項目所需要的知識涉及到各個層面：決策層面需要知道數(shù)據(jù)挖掘能干什么；設(shè)計層面需要掌握行業(yè)相關(guān)知識和數(shù)據(jù)挖掘相關(guān)知識；技術(shù)層面需要高等數(shù)學、概率學、統(tǒng)計學、數(shù)據(jù)庫原理、分布計算、編程語言、具體算法原理等知識；應(yīng)用層面則要知道數(shù)據(jù)挖掘怎樣結(jié)合行業(yè)領(lǐng)域的需求，以及如何應(yīng)用數(shù)據(jù)挖掘的結(jié)果來解決問題等等。許多軟件公司及開源機構(gòu)為了處理海量的信息，并對數(shù)據(jù)挖掘算法進行普及，開發(fā)了眾多數(shù)據(jù)挖掘工具軟件，而Hadoop生態(tài)圈則是目前主流的分布式海量數(shù)據(jù)挖掘平臺。

二、對歷史頻譜數(shù)據(jù)的數(shù)據(jù)挖掘

（一）頻譜資源和頻譜資源管理

無線電頻譜是一種非常寶貴且有限的自然資源，是屬于國家的重要戰(zhàn)略性資源。近年來，無線電頻譜需求不斷增加，頻率沖突越來越嚴峻，給頻譜資源的監(jiān)測和管理帶來了新的困難與挑戰(zhàn)，對無線電頻譜的監(jiān)測與管理是有效使用無線電資源的前提，因此，如何開展對信道和頻段使用情況的有效監(jiān)測，記錄全頻段和全時段內(nèi)所有信號的基礎(chǔ)數(shù)據(jù)，掌握用頻變化，評估信道占用度和利用率，把握頻譜的整體使用情況，提高頻譜感知與管理能力成為亟需解決的問題。

頻譜資源管理是指對無線電頻譜資源的使用進行規(guī)劃與控制的活動，而無線電頻率管理是無線電頻譜管理的核心。為了對頻譜資源進行合理的管理，我們不但必須掌握現(xiàn)階段的用頻情況，也需要對以往的頻譜數(shù)據(jù)進行分析，掌握一段時期內(nèi)的用頻變化，以此來對下個階段的無線電頻率劃分進行決策。

（二）歷史頻譜數(shù)據(jù)挖掘的過程模型

對于數(shù)據(jù)挖掘項目首先要建立過程模型，這里運用美國SPSS公司提出的5A模型，即評價需求（Assess）、存取數(shù)據(jù)（Access）、完備分析（Analyze）、模型演示（Act）、結(jié)果展現(xiàn)（Automate）,來對歷史頻譜數(shù)據(jù)挖掘進行過程分析。

1.評價需求

通過對海量歷史頻譜監(jiān)測數(shù)據(jù)的深入挖掘與分析，采用形式多樣、豐富的統(tǒng)計方法，我們可以以文本、圖片等多種形式提供直觀、有效、全面的歷年頻譜資源展示，從而為目前的頻譜資源管理提供綜合性決策依據(jù)。我臺頻譜負荷收測主要涉及中短波廣播業(yè)務(wù)，故此項目主要針對中短波廣播頻段頻譜數(shù)據(jù)進行數(shù)據(jù)挖掘。

2.存取數(shù)據(jù)

利用Hadoop數(shù)據(jù)挖掘構(gòu)架實現(xiàn)海量數(shù)據(jù)的快速存取，主要包括了大規(guī)模數(shù)據(jù)分析工具Pig、數(shù)據(jù)倉庫工具Hive、分布式編程框架MapReduce、數(shù)據(jù)狀態(tài)存儲HCatalog、分布式數(shù)據(jù)庫Hbase以及分布式文件系統(tǒng)HDFS等。

3.對歷史頻譜數(shù)據(jù)的分析

（1）頻譜占用度分析

頻譜占用度分析是頻譜分析的一種主要方法，通過對頻道分的統(tǒng)計計算，能知曉一定頻段和時間范圍（一般是一個頻譜收測周期）內(nèi)廣播全頻段的頻譜占用情況，從而能夠幫助我們在橫向（同一年相比較）、縱向（在時間跨度上相比較）上了解收測點附近（上海寶山地區(qū)）近60年的頻譜占用度變化情況。一般以柱狀圖顯示一定頻段和時間范圍內(nèi)的頻譜占用情況，占用度高低由不同顏色加以區(qū)分，頻道帶寬可設(shè)定，占用度可在時間和頻段二個不同維度進行統(tǒng)計。

（2）已知電臺分析

已知電臺分析是以已知曉的各國際國內(nèi)電臺作為分類，在橫向、縱向上對該臺在我收測點附近的，可收測到的播音情況進行統(tǒng)計分析。通過電臺分析，可以得知某一電臺的播音總體變化，包括用頻變化（點陣圖或柱狀圖顯示）、歷年頻時數(shù)變化（折線圖顯示）等等。同時，按照國家、地區(qū)、使用語言（節(jié)目內(nèi)容）等對電臺進行分類。建立數(shù)據(jù)字典，將某一臺曾使用過的臺名、歸屬、發(fā)射地進行統(tǒng)一錄入，方便在統(tǒng)計分析數(shù)據(jù)時保持完整性。

（3）使用語言分析

使用語言分析是對已知電臺所播的語言種類進行統(tǒng)計分析。通過對各臺各頻率使用語言的統(tǒng)計篩選，可以對以我國作為主要播向區(qū)的電臺頻率做進一步分析，包括用頻變化（點陣圖或柱狀圖顯示）、頻時總數(shù)變化（折線圖顯示）、發(fā)射方向圖展示等等，對我們把握此類電臺頻率的整體變化趨勢有著重要的作用。

（4）未知電臺、語言分析

我臺的歷年頻譜數(shù)據(jù)中，包括了一部分未知電臺以及未知語言的頻率。這一部分頻率在頻譜負荷表中以“？”表示，大多為能夠收聽到播音但無法通過播音內(nèi)容或國際資料確定電臺歸屬或播音語言的頻率。對該類頻率，可以通過對已知電臺頻率的數(shù)據(jù)分析，判斷其可能的歸屬及播音語言。

4.頻譜資源挖掘模型

數(shù)據(jù)挖掘的任務(wù)模式按照功能類型可以分成描述型和預(yù)測型兩類，描述型任務(wù)一般用來刻畫數(shù)據(jù)的常用特征，預(yù)測型任務(wù)則通過分析目標對象的模式和規(guī)律，對未來趨勢做出合理判斷。在頻譜數(shù)據(jù)任務(wù)中，對歷史頻譜數(shù)據(jù)的分析可以歸為描述型，而通過對未來頻譜資源分配走向的分析則應(yīng)歸為預(yù)測型。

將任務(wù)進行分類后，需要將各個任務(wù)歸納入某一模型類型中。數(shù)據(jù)挖掘模型可以概括為三大類：聚類、分類、關(guān)聯(lián)。聚類分析旨在發(fā)現(xiàn)不同的簇間的差異性；分類是將歷史數(shù)據(jù)按照用戶的需求進行區(qū)分；關(guān)聯(lián)分析則是重在挖掘兩個不同關(guān)鍵詞的內(nèi)在共性。對歷史頻譜數(shù)據(jù)的數(shù)據(jù)挖掘可以歸為分類模型。

5.數(shù)據(jù)結(jié)果可視化展現(xiàn)

項目最終能夠通過快捷全面的前端展示平臺，快速顯示歷史頻譜數(shù)據(jù)挖掘結(jié)果，以及對未來各電臺頻率變化走勢的分析結(jié)果，讓數(shù)據(jù)以更為靈活、直觀、可視化的方式表達出來。展示平臺主要應(yīng)能實現(xiàn)：3D頻譜、頻譜數(shù)據(jù)地域性展示、統(tǒng)計數(shù)據(jù)多樣化展示等。

三、結(jié)束語

無線廣播頻譜監(jiān)測與管理系統(tǒng)通過對大量實測數(shù)據(jù)的分析，能夠直觀的向用戶展示各項歷史數(shù)據(jù)、頻譜占用情況、非法電臺等大數(shù)據(jù)背后的信息，這些對頻譜資源的分析、合理利用正是我們搭建無線廣播頻譜監(jiān)測與管理系統(tǒng)的最終目標。而如何在龐大的數(shù)據(jù)中更高效地進行對數(shù)據(jù)的甄別、挖掘，從而向用戶提出有用、合理的頻譜資源問題的解決方案，是我們亟待解決的問題。

本文來源：《視聽》：http://xwlcp.cn/w/qk/9501.html