大數(shù)據(jù)分析在政府內(nèi)的運(yùn)用:智慧政務(wù)

　　2020疫情期間，中國(guó)政府也采用了大數(shù)據(jù)分析技術(shù)，決策分析疫情動(dòng)態(tài)，幫助全國(guó)人民渡過(guò)難關(guān)。大數(shù)據(jù)時(shí)代，公務(wù)員們都得是“數(shù)據(jù)”高手!大數(shù)據(jù)分析在中國(guó)已經(jīng)是最熱門(mén)的職業(yè)，也是應(yīng)屆生們的首選職業(yè)之一。

　　大數(shù)據(jù)不僅僅是數(shù)據(jù)，更是一種技術(shù)。它不僅能挖掘數(shù)據(jù)的潛在價(jià)值，還能實(shí)現(xiàn)數(shù)據(jù)創(chuàng)新，實(shí)現(xiàn)海量數(shù)據(jù)的更多社會(huì)價(jià)值，可以從中發(fā)現(xiàn)一些影響經(jīng)濟(jì)社會(huì)發(fā)展的潛在影響因素，為政府部門(mén)管理市場(chǎng)經(jīng)濟(jì)做出科學(xué)決策提供了相應(yīng)的參考依據(jù)。
 

　　政府應(yīng)用大數(shù)據(jù)的必要性
 

　　在政府行政體制改革、公共服務(wù)領(lǐng)域和日常管理中，政府已把大數(shù)據(jù)作為基礎(chǔ)性戰(zhàn)略資源逐步加以發(fā)展和運(yùn)用，并充分落實(shí)創(chuàng)新發(fā)展的理念，加快政府職能的轉(zhuǎn)變，提升政府治理能力。2015年4月3日，國(guó)務(wù)院在政府信息公開(kāi)工作要點(diǎn)中表示要積極推進(jìn)政府?dāng)?shù)據(jù)公開(kāi)，把運(yùn)用大數(shù)據(jù)等現(xiàn)代信息技術(shù)作為促進(jìn)政府職能轉(zhuǎn)變，簡(jiǎn)政放權(quán)、放管結(jié)合和優(yōu)化服務(wù)的有效手段。
 

　　大數(shù)據(jù)風(fēng)潮席卷全球，為什么人人都要學(xué)大數(shù)據(jù)分析?
 

　　1.為什么要學(xué)大數(shù)據(jù)分析
 

　　大數(shù)據(jù)號(hào)稱(chēng)新時(shí)代的石油，很多行業(yè)都開(kāi)始用數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)，通過(guò)對(duì)數(shù)據(jù)的分析和挖掘，從單純的數(shù)據(jù)報(bào)表，到建模分析，深入挖掘，來(lái)幫助業(yè)務(wù)部分來(lái)系統(tǒng)的思考問(wèn)題。
 

　　同時(shí)，大數(shù)據(jù)分析也相對(duì)容易一些，比較好上手。
 

　　Python的應(yīng)用的領(lǐng)域可以分為爬蟲(chóng)、web開(kāi)發(fā)、大數(shù)據(jù)分析、機(jī)器學(xué)習(xí)等方向。和機(jī)器學(xué)習(xí)相比，大數(shù)據(jù)分析偏業(yè)務(wù)，機(jī)器學(xué)習(xí)偏工程，大數(shù)據(jù)分析入門(mén)對(duì)數(shù)學(xué)功底和算法基礎(chǔ)的要求并不是特別高。
 

　　2.為什么選Python做大數(shù)據(jù)分析
 

　　可以來(lái)做大數(shù)據(jù)分析的語(yǔ)言和工具比較多，為什么偏偏選Python?
 

　　拿常見(jiàn)的R語(yǔ)言和Excel來(lái)說(shuō)：
 

　　R語(yǔ)言其實(shí)是為統(tǒng)計(jì)學(xué)而生的語(yǔ)言，用來(lái)做統(tǒng)計(jì)學(xué)確實(shí)非常厲害。
 

　　但是R語(yǔ)言在語(yǔ)法的美觀和使用的簡(jiǎn)潔便利上看，要比Python差很多，小函數(shù)一堆，而且語(yǔ)法不好理解，沒(méi)有Python這么容易上手和通熟易懂。
 

　　而 Excel只能做一些簡(jiǎn)單的處理邏輯處理，適合小規(guī)模的數(shù)據(jù)集，或者簡(jiǎn)單的數(shù)據(jù)清洗，對(duì)于復(fù)雜的邏輯處理，數(shù)據(jù)清洗，還是用Python來(lái)的方便。
 

　　3.大數(shù)據(jù)分析崗位職業(yè)發(fā)展路徑
 

　　在數(shù)據(jù)科學(xué)領(lǐng)域，有三個(gè)不同的角色，分別是：商業(yè)分析師，數(shù)據(jù)工程師和數(shù)據(jù)科學(xué)家，難度依次遞增。
 

　　1.商業(yè)分析師
 

　　商業(yè)分析師的工作主要圍繞報(bào)表和指標(biāo)這兩塊兒，包括：

　　1).定義關(guān)鍵績(jī)效指標(biāo)

　　2).設(shè)計(jì)和實(shí)現(xiàn)報(bào)表

　　3).從用戶那里收集報(bào)表需求

　　4).與數(shù)據(jù)工程師對(duì)接確保數(shù)據(jù)被正確地收集和存儲(chǔ)

　　5).查詢數(shù)據(jù)(一般是聚合過(guò)的)
 

　　2.數(shù)據(jù)工程師
 

　　數(shù)據(jù)工程師的工作主要圍繞架構(gòu)和收集這兩塊兒，包括：

　　1).通過(guò)寫(xiě)數(shù)據(jù)傳輸包、設(shè)計(jì)聚合過(guò)程、優(yōu)化存儲(chǔ)，來(lái)構(gòu)建和維護(hù)數(shù)據(jù)傳輸和存儲(chǔ)的基礎(chǔ)設(shè)施

　　2).將生產(chǎn)環(huán)境產(chǎn)生的原始數(shù)據(jù)，轉(zhuǎn)換為商業(yè)分析師可以用來(lái)制作報(bào)表的格式化的數(shù)據(jù)
 

　　3.數(shù)據(jù)科學(xué)家
 

　　數(shù)據(jù)科學(xué)家的工作主要圍繞預(yù)測(cè)和優(yōu)化這兩塊兒，包括：

　　1).負(fù)責(zé)構(gòu)建預(yù)測(cè)算法，以提升用戶體驗(yàn)，最終增加參與度、留存率、收益

　　2).負(fù)責(zé)數(shù)據(jù)驅(qū)動(dòng)的產(chǎn)品的改進(jìn)和建議

　　這其實(shí)是一個(gè)金字塔，商業(yè)分析師位于金字塔的最底層，數(shù)據(jù)科學(xué)家位于金字塔的最頂層。
 

　　4.大數(shù)據(jù)分析師的薪資如何
 

　　招聘網(wǎng)上大數(shù)據(jù)分析師基本上在1-2年經(jīng)驗(yàn)的平均年薪在20萬(wàn)左右。

　　再看一下大數(shù)據(jù)分析師的崗位主要需求城市：

　　主要是在北上廣深和杭州 5個(gè)大的城市，其中北京的需求最多，幾乎是第2/3/4位的總和。
 

　　5.大數(shù)據(jù)分析需求技能
 

　　大數(shù)據(jù)分析的內(nèi)容多，而且比較全面，比如我們前面寫(xiě)了很多關(guān)于房地產(chǎn)，拉勾照片，旅游網(wǎng)站的數(shù)據(jù)，一般來(lái)說(shuō)大數(shù)據(jù)分析分下面幾個(gè)過(guò)程：
 

　　第一步：數(shù)據(jù)的爬取
 

　　大數(shù)據(jù)分析過(guò)程非常像我們平時(shí)做飯，第一步要先買(mǎi)菜，如何獲取數(shù)據(jù)呢，很多時(shí)候我們需要爬取數(shù)據(jù)，爬蟲(chóng)涉及的知識(shí)比較多：
 

　　比如常見(jiàn)的http原理，爬蟲(chóng)的基本解析庫(kù)reuqests，網(wǎng)頁(yè)解析庫(kù)BS,Pyquery,掌握一些分布式爬蟲(chóng)的框架，當(dāng)然還有一些反爬蟲(chóng)的策略。當(dāng)然如果我們能有現(xiàn)成的數(shù)據(jù)集會(huì)方便很多。
 

　　第二步：數(shù)據(jù)格式的處理和清洗
 

　　買(mǎi)好了菜，接著我們需要洗菜，也就是數(shù)據(jù)清洗!常見(jiàn)的數(shù)據(jù)集都是csv和json格式，需要熟練的掌握著兩種格式的。Python中大數(shù)據(jù)分析的神兵利器是Pandas,這個(gè)庫(kù)非常好用，功能也是非常強(qiáng)大的。可以對(duì)數(shù)據(jù)進(jìn)行各種花色的清洗和切割，幾乎所有用Python玩大數(shù)據(jù)分析，必須學(xué)會(huì)pandas庫(kù)的用法。
 

　　第三步：數(shù)據(jù)的存儲(chǔ)
 

　　清洗完成之后數(shù)據(jù)需要存儲(chǔ)起來(lái)，一般用的比較多的 SQL 和 MongoDB。幾乎所有的大數(shù)據(jù)分析師招聘都會(huì)面試SQL的用法，所以掌握一門(mén)數(shù)據(jù)的使用是非常有必要的!基本的增刪改查這樣入門(mén)級(jí)的操作，一定要熟練掌握。
 

　　第四步：數(shù)據(jù)的探索
 

　　我拿到一個(gè)數(shù)據(jù)集之后，需要對(duì)數(shù)據(jù)進(jìn)行探索，分析數(shù)據(jù)之間的關(guān)系，每個(gè)特征值，每個(gè)變量的之間相關(guān)性和相互的影響，比如常見(jiàn)的EDA 探索大數(shù)據(jù)分析法。
 

　　單變量，雙變量和多變量的探索，可以從很多角度，對(duì)數(shù)據(jù)進(jìn)行切片分析，非常數(shù)據(jù)集中的變量之間的關(guān)系，找出相關(guān)性比較強(qiáng)的數(shù)據(jù)。
 

　　如果需要對(duì)數(shù)據(jù)進(jìn)行深入的挖掘，需要了解機(jī)器學(xué)習(xí)的相關(guān)算法，大體分監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)，比如回歸問(wèn)題，分類(lèi)問(wèn)題。這部分對(duì)數(shù)據(jù)集進(jìn)行深入挖掘之后，可以找出數(shù)據(jù)間的規(guī)律，訓(xùn)練好的之后，可以預(yù)測(cè)數(shù)據(jù)，很是牛逼。
 

　　第五步：數(shù)據(jù)的可視化
 

　　展現(xiàn)數(shù)據(jù)最好的方法就是數(shù)據(jù)可視化，數(shù)據(jù)的可視化有很大的庫(kù)，比如 echart，matplotlib，d3 和 Tableau，當(dāng)然還有excel，一般大數(shù)據(jù)分析師必須要掌握exce或者Tableau。尤其是Tableau現(xiàn)在越來(lái)越多的公司用它來(lái)做可視化分析，有一個(gè)有趣的必然，同樣一個(gè)庫(kù)用R語(yǔ)言需要30分鐘才能完成，Tableau只需要5分鐘。
 

　　互聯(lián)網(wǎng)大數(shù)據(jù)時(shí)代的到來(lái)，已成為人類(lèi)不可阻擋的趨勢(shì)。當(dāng)下，互聯(lián)網(wǎng)大數(shù)據(jù)正悄悄包圍著我們，不僅給人們帶來(lái)便利和機(jī)遇，而且也日益影響著經(jīng)濟(jì)社會(huì)發(fā)展和政府的治理。它猶如一座“富礦”，蘊(yùn)藏著巨大的價(jià)值。
 

　　1 推動(dòng)簡(jiǎn)政放權(quán)

　　行政管理需要實(shí)現(xiàn)現(xiàn)代化、科學(xué)化、智能化，推進(jìn)行政體制改革、深化簡(jiǎn)政放權(quán)就需要建設(shè)政務(wù)大數(shù)據(jù)以推進(jìn)信息，實(shí)現(xiàn)數(shù)據(jù)共享。
 

　　2 促進(jìn)放管結(jié)合

　　在推動(dòng)簡(jiǎn)政放權(quán)的基礎(chǔ)上，還要促進(jìn)放管結(jié)合。面對(duì)海量的信息市場(chǎng)，政府管理部門(mén)可以有效利用大數(shù)據(jù)的資源建立專(zhuān)屬信息平臺(tái)，在推動(dòng)整合數(shù)據(jù)資源，部門(mén)間數(shù)據(jù)共享的同時(shí)，通過(guò)大數(shù)據(jù)強(qiáng)化監(jiān)管，實(shí)現(xiàn)放與管的結(jié)合。
 

　　3 實(shí)現(xiàn)優(yōu)化服務(wù)

　　將推動(dòng)簡(jiǎn)政放權(quán)、放管結(jié)合和優(yōu)化服務(wù)結(jié)合起來(lái)，加快政府的服務(wù)型建設(shè)，也是大數(shù)據(jù)作為促進(jìn)政府職能轉(zhuǎn)變的有效手段。
 

　　政府傳統(tǒng)的決策過(guò)程是“發(fā)現(xiàn)問(wèn)題—分析問(wèn)題—解決問(wèn)題”，這種決策方式可以一定程度地解決部分問(wèn)題，但也較容易出現(xiàn)決策失誤從而導(dǎo)致的勞民傷財(cái)。于是，在大數(shù)據(jù)的背景之下，新型的決策方式應(yīng)該轉(zhuǎn)變?yōu)?ldquo;搜集數(shù)據(jù)—量化分析—找出相互關(guān)系—提出優(yōu)化解決方案”，并根據(jù)大數(shù)據(jù)實(shí)時(shí)跟蹤決策的實(shí)施過(guò)程，在決策實(shí)施中根據(jù)環(huán)境變化和及時(shí)的信息反饋而相應(yīng)的做出改變，提供更優(yōu)質(zhì)的、更切實(shí)際的高效率的政府服務(wù)。
 

　　大數(shù)據(jù)時(shí)代，政府部門(mén)的各項(xiàng)決策都不再僅憑過(guò)往經(jīng)驗(yàn)，而是更多地以數(shù)據(jù)分析輔助做出決定。大數(shù)據(jù)能有效提高信息的及時(shí)性、全面性和準(zhǔn)確性，政府部門(mén)將其應(yīng)用于監(jiān)管企業(yè)信用風(fēng)險(xiǎn)、服務(wù)創(chuàng)新創(chuàng)業(yè)等領(lǐng)域，可支撐政策議題謀劃塑造和事中事后監(jiān)管能力的提升。政府部門(mén)的日常工作離不開(kāi)數(shù)據(jù)，政府開(kāi)放數(shù)據(jù)形成的生態(tài)圈，也將有利推動(dòng)政府的發(fā)展。