題記：這是信息學(xué)院信息1102班呂靜同學(xué)閱讀《大數據時(shí)代》的體會(huì )，有興趣的同學(xué)可以關(guān)注一下。
進(jìn)入2013年，大數據被越來(lái)越多地提及，它已經(jīng)上過(guò)《紐約時(shí)報》、《華爾街日報》的專(zhuān)欄封面，進(jìn)入美國白宮網(wǎng)的新聞，并頻繁出現在互聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)、電商、電信、金融等領(lǐng)域的大佬們的話(huà)語(yǔ)中，不管是阿里巴巴的前CEO馬云，還是騰訊的董事長(cháng)馬化騰，都在談?wù)撝?zhù)大數據。亞馬遜、沃爾瑪、雅虎、IBM、蘋(píng)果、谷歌這些國際巨頭更是在很早的時(shí)候，就開(kāi)始在大數據方面進(jìn)行研究和布局。于是鄙人也跟隨潮流，通過(guò)網(wǎng)上的相關(guān)資料對大數據做了一定了解，同時(shí)，又花一個(gè)星期的時(shí)間拜讀了維克托·邁爾-舍恩伯格的《大數據時(shí)代》，深受裨益，特此將感悟心得記下，與各位同學(xué)分享。
本文通篇分為三部分，第一部分是全書(shū)概述，主要包括作者簡(jiǎn)介、內容概要，讓大家對《大數據時(shí)代》一書(shū)有一初步的了解；第二部分是感悟思考，主要包括大數據在開(kāi)放平臺、社交網(wǎng)絡(luò )、電子商務(wù)領(lǐng)域的應用分析；第三部分是過(guò)程體會(huì )，主要是對讀書(shū)過(guò)程及方法的一種分享，希望與大家有所交流互益。
一、全書(shū)概述
本書(shū)作者維克托·邁爾-舍恩伯格被譽(yù)為“大數據時(shí)代的預言家”，現任牛津大學(xué)網(wǎng)絡(luò )學(xué)院互聯(lián)網(wǎng)研究所治理與監管專(zhuān)業(yè)教授，曾任哈佛大學(xué)肯尼迪學(xué)院信息監管科研項目負責人，新加坡國立大學(xué)信息政策研究中心主任，他的咨詢(xún)客戶(hù)包括微軟、IBM和惠普等全球頂級企業(yè)?！督?jīng)濟學(xué)人》說(shuō)，在大數據領(lǐng)域，他是最受人尊敬的權威發(fā)言人之一；《科學(xué)》說(shuō)，若要發(fā)起一場(chǎng)關(guān)于這個(gè)問(wèn)題的深入討論，沒(méi)有比他更好的發(fā)起者了。他是歐盟互聯(lián)網(wǎng)官方政策背后的重要制定者和參與者；他是最早洞見(jiàn)大數據時(shí)代發(fā)展趨勢的數據科學(xué)家之一。
而本書(shū)的譯者，現年30歲的周濤則是電子科技大學(xué)互聯(lián)網(wǎng)科學(xué)中心主任、教師、博士生導師，發(fā)表了SCI論文150余篇，領(lǐng)域一流期刊90余篇。
整本書(shū)分為三個(gè)部分，分別是大數據時(shí)代的思維變革、商業(yè)變革和管理變革。
大數據時(shí)代的思維變革分為“不是隨機樣本，而是全體數據”、“不是精確性，而是混雜性”、“不是因果關(guān)系，而是相關(guān)關(guān)系”三部分，分別講述了大數據時(shí)代，數據在數量、性質(zhì)和關(guān)系方面的變革。當數據處理技術(shù)得到了較大的發(fā)展之后，數據分析就采取了全數據模式，樣本=總體，比如淘寶進(jìn)行用戶(hù)行為分析時(shí)會(huì )就一個(gè)用戶(hù)在淘寶里的所有行為進(jìn)行技術(shù)分析，而谷歌對流感的預測則是對所有相關(guān)詞匯搜索行為進(jìn)行技術(shù)分析。書(shū)里說(shuō)，只有5%的數據是結構化且能適用于數據庫的，如果不接收混亂，剩下的95%的非結構化數據都無(wú)法被利用。用戶(hù)在互聯(lián)網(wǎng)上的行為，其實(shí)就是一種數據，比如鼠標停留位置、搜索輸入語(yǔ)言、項目點(diǎn)擊次數等，但是這些數據其實(shí)都不是標準化、結構化的，用戶(hù)搜索板藍根、感冒靈、吃什么水果治感冒等都說(shuō)明用戶(hù)可能感冒了，但是其輸入的搜索文字確實(shí)不一樣的，如果要精準地按照感冒兩個(gè)字來(lái)判斷用戶(hù)是否感冒，其數據分析結果和實(shí)際結果應該會(huì )存在比較大的差距。淘寶數據有一個(gè)視頻內容是各個(gè)省份的人購物情況的分析統計，比如在見(jiàn)不到大海的新疆，購買(mǎi)比基尼卻是最多的，那么淘寶并不需要知道新疆人為什么喜歡買(mǎi)比基尼，是因為氣候還是生活習慣并不重要，重要的是淘寶要多為新疆用戶(hù)推薦比基尼，可以獲得更高的轉化率。（推薦視頻《淘寶數據盛典——你所不知道的城市秘密》 優(yōu)酷視頻播放： //v.youku.com/v_show/id_XMzU2NzM2MDk2.html ）
大數據時(shí)代的商業(yè)變革分為內容數據化、數據價(jià)值實(shí)現、數據公司類(lèi)型三部分，隨著(zhù)信息技術(shù)的變革，我們將文字、方位、溝通甚至是世間萬(wàn)物都變成數據，然后通過(guò)數據的再利用、重組、擴展等實(shí)現價(jià)值，創(chuàng )造大數據公司。同時(shí)，根據所提供價(jià)值的數據本身、技能和思維三種不同來(lái)源，分別出現了基于這三種來(lái)源的互聯(lián)網(wǎng)公司，而谷歌、亞馬遜等則是包含三者，全面發(fā)展的大數據公司。
大數據時(shí)代的管理變革則分為大數據的風(fēng)險和自由度掌控。大數據帶來(lái)的風(fēng)險主要包括個(gè)人生活的監視、隱私的泄露、預測懲罰以及數據獨裁，對此，通過(guò)一定的管理變革，比如個(gè)人隱私保護從個(gè)人許可到讓數據使用者承擔責任，預測分析并不決定個(gè)人動(dòng)因及相應懲罰，避免數據獨裁而培養大數據算法師以及反數據壟斷大亨等，來(lái)限制大數據的發(fā)展不超過(guò)我們可以控制的范圍。
引用周濤序中的話(huà)對全書(shū)內容做一個(gè)簡(jiǎn)要概述，“首先，作者拋出了大數據時(shí)代處理數據理念上的三大轉變：要全體不要抽樣，要效率不要絕對精確，要相關(guān)不要因果；接著(zhù)，從萬(wàn)事萬(wàn)物數據化和數據交叉復用的巨大價(jià)值兩個(gè)方面，講述驅動(dòng)大數據戰車(chē)在材質(zhì)和智力方面向前滾動(dòng)的最根本動(dòng)力；最后，作者冷靜描繪了大數據帝國前夜的脆弱與不安，包括產(chǎn)業(yè)生態(tài)環(huán)境、數據安全隱私、信息公正公開(kāi)等問(wèn)題”。
二、感悟思考
書(shū)中對大數據的價(jià)值其實(shí)也有所分析，主要是站在數據處理角度，分析數據的再利用、重組數據、可擴展數據、數據的折舊值、數據廢氣、開(kāi)放數據等帶來(lái)的數據創(chuàng )新價(jià)值，而我的思考方向則是從互聯(lián)網(wǎng)行業(yè)角度出發(fā)，分析開(kāi)放平臺、社交網(wǎng)絡(luò )、電子商務(wù)等利用大數據后所獲得的改革優(yōu)勢。
（一）大數據與開(kāi)放平臺
當我們在人人網(wǎng)上看“最近誰(shuí)最關(guān)心你”，當我們在微博上玩拼圖工坊，當我們在app store里下載游戲應用時(shí)，我們已經(jīng)很近距離地接觸了當下比較熱門(mén)的幾個(gè)開(kāi)放平臺，除此之外還有微信、開(kāi)心網(wǎng)、淘寶網(wǎng)、百度搜索等等也是很熱門(mén)的開(kāi)放平臺。
那么，大數據時(shí)代到來(lái)之際，開(kāi)放平臺面臨著(zhù)怎樣的機遇與挑戰呢？
開(kāi)放平臺的核心價(jià)值是分配流量和消費資源給開(kāi)發(fā)商和應用，同時(shí)提高平臺本身用戶(hù)的活躍度和粘度，怎么把平臺的流量和用戶(hù)更好地分配給第三方應用呢，把平臺效率最大化是一個(gè)巨大的挑戰，而大數據是解決這個(gè)挑戰的重要手段。
開(kāi)放平臺收集了大量的用戶(hù)數據，而這些數據并不是在完成用戶(hù)資料系統后就變得一文不值。平臺可以根據用戶(hù)資料系統以及用戶(hù)瀏覽了哪些網(wǎng)頁(yè)、停留了多久、鼠標光標停留的位置、輸入了什么信息等“數據廢氣”實(shí)現數據的再利用，了解用戶(hù)的習慣喜好。數據再利用的價(jià)值對那些收集或控制著(zhù)大型數據集但目前卻很少使用的機構來(lái)說(shuō)是個(gè)好消息。用戶(hù)留下的大數據對人人網(wǎng)本身來(lái)說(shuō)，還是停留在好友推薦、智能排序、廣告展位等基礎優(yōu)化上，而其能夠收集到的大量用戶(hù)喜好數據對第三方開(kāi)發(fā)商的開(kāi)放方向和內容則具有很大的參考價(jià)值。
隨著(zhù)大數據的出現，數據的總和比部分更有價(jià)值，當我們將多個(gè)數據集的總和重組在一起時(shí)，重組總和本身的價(jià)值也比單個(gè)總和更大。由于開(kāi)放平臺在信息價(jià)值鏈中的特殊位置，能收集流向每一個(gè)API接口的用戶(hù)數據，尋找各個(gè)API接口數據之間的聯(lián)系，通過(guò)數據重組尋找數據間聯(lián)系，創(chuàng )造數據價(jià)值。平臺通過(guò)數據再利用和數據重組所獲得的數據分析結果，可以預測用戶(hù)的喜好，決定對用戶(hù)的應用推薦種類(lèi)和先后關(guān)系，對平臺流量和用戶(hù)的流向起到一定的引導作用，有助于實(shí)現效率的最大化。
（二）大數據與社交網(wǎng)絡(luò )
人人網(wǎng)、朋友網(wǎng)專(zhuān)注于校園社交，新浪微博、騰訊微博決戰140字，米聊、微信激烈爭搶移動(dòng)互聯(lián)網(wǎng)，還有陌陌、遇見(jiàn)等基于地理位置的社交應用，美麗說(shuō)、蘑菇街等基于購物分享的社交網(wǎng)站，我們被一大堆社交網(wǎng)站包圍著(zhù)，而一個(gè)人能兼顧的社交網(wǎng)站數量畢竟不多，所以他們就成了被選擇的對象。隨著(zhù)“社交”理念的逐步滲透、廣泛融合，如何提高用戶(hù)活躍度和粘度，豐富社交網(wǎng)站內容，形成同類(lèi)網(wǎng)站的競爭優(yōu)勢，是SNS網(wǎng)站能夠在競爭激烈的環(huán)境下生存下來(lái)最重要的砝碼。而大數據可以助其一臂之力。
大數據的價(jià)值體現在可以挖掘用戶(hù)的行為習慣和喜好，在凌亂紛繁的數據背后找到更符合用戶(hù)興趣和習慣的產(chǎn)品和服務(wù)，并對產(chǎn)品和服務(wù)進(jìn)行針對性地調整和優(yōu)化。比如新浪微博的智能排序功能，根據用戶(hù)的關(guān)注、標簽和微博內容等相關(guān)信息，幫助用戶(hù)梳理微博內容，對同類(lèi)微博進(jìn)行合并，對可能感興趣的微博內容進(jìn)行優(yōu)先展示，就是利用大數據挖掘用戶(hù)的關(guān)系和喜好，提高用戶(hù)體驗。
2013年4月18日在北京中關(guān)村舉辦的主題為“社交媒體下一浪”的科技交流活動(dòng)邀請了李開(kāi)復和youtube創(chuàng )始人陳士駿參與交流。李開(kāi)復指出，信息爆炸是一個(gè)巨大的問(wèn)題，所以用戶(hù)需要看跟他個(gè)性化最相關(guān)的問(wèn)題，里面非常核心的技術(shù)就是如何掌握大數據，如何用大數據經(jīng)過(guò)機器學(xué)習達到推進(jìn)引擎，從海量的數據里提煉出基于用戶(hù)過(guò)去的習慣行為、關(guān)注、朋友圈以及發(fā)布或者轉發(fā)的東西，讓用戶(hù)看到最想看到的?？梢?jiàn)大數據推動(dòng)了社交媒體的下一步重要發(fā)展。
書(shū)中“數據化”一章講述了隨著(zhù)信息技術(shù)的變革，文字、方位、溝通乃至世間萬(wàn)物都可以數據化，也就是數據的豐富度。社交網(wǎng)絡(luò )的興起，大量的UGC（User Generated Content，即用戶(hù)生成內容）內容、音頻、文本信息、視頻、圖片等非結構化數據的出現都依賴(lài)于大數據時(shí)代的技術(shù)發(fā)展。而這些信息，恰恰可以成為用戶(hù)之間建立關(guān)系或產(chǎn)生交流的催化劑，從而提高社交網(wǎng)站的用戶(hù)活躍度和粘度。
社交網(wǎng)絡(luò )越來(lái)越成為網(wǎng)民生活中不可或缺的一部分，而用戶(hù)也更容易在社交網(wǎng)站上表露自己的身份信息和習慣喜好，有利于社交網(wǎng)站聚集有價(jià)值信息的同時(shí)，也會(huì )帶來(lái)更大的數據隱憂(yōu)。首當其沖就是隱私的泄露，即使我們在新浪微博、豆瓣等社交網(wǎng)絡(luò )上用匿名的方式企圖保護自己的隱私，但是在大數據時(shí)代，隨著(zhù)數據量和種類(lèi)的增多，大數據促進(jìn)了數據內容的交叉檢驗，又讓我們的隱私無(wú)處逃遁。同時(shí)，互聯(lián)網(wǎng)的出現，使得對網(wǎng)民的監視更容易、成本更低廉也更有用處。社交網(wǎng)絡(luò )收集的數據相較于搜索引擎、視頻網(wǎng)站、門(mén)戶(hù)網(wǎng)站等其實(shí)更貼近用戶(hù)生活，其大數據戰略也就要更注重對用戶(hù)隱私的保護，不要讓大數據發(fā)展超出能控制的范圍。
（三）大數據與電子商務(wù)
電子商務(wù)本質(zhì)上是一種銷(xiāo)售模式，與線(xiàn)下相比它具有更容易獲取消費者數據、商品數據的特點(diǎn)，天貓雙十一那天，就有2.13億獨立用戶(hù)訪(fǎng)問(wèn)，超過(guò)1億筆訂單，191億銷(xiāo)售額，這些數據并不只是衡量網(wǎng)站當日的銷(xiāo)售情況之后就可以功成身退，而是可以通過(guò)用戶(hù)的購物以及其他行為，分析用戶(hù)喜好，實(shí)現個(gè)性化頁(yè)面展示和推薦，提高廣告轉化率。同時(shí)，類(lèi)似京東商城等自建物流的B2C電子商務(wù)網(wǎng)站，通過(guò)相應的大數據分析，有利于合理安排倉庫庫存，調配物流路線(xiàn)，在效率提高和成本節約上發(fā)揮重要作用。
書(shū)中舉到的很有意思的一個(gè)例子是，亞馬遜從一開(kāi)始就已從每個(gè)客戶(hù)身上捕捉了大量的數據，比如他們購買(mǎi)了什么數據？哪些書(shū)他們只瀏覽卻沒(méi)有買(mǎi)？他們?yōu)g覽了多久？哪些書(shū)是他們一起買(mǎi)的？通過(guò)數據分析發(fā)現，喜歡海明威作品的客戶(hù)許多也喜歡菲茨杰拉德的書(shū)，所以，亞馬遜總會(huì )將向瀏覽會(huì )購買(mǎi)海明威作品的客戶(hù)推薦菲茨杰拉德的書(shū)，從而增加了銷(xiāo)量。如今，據說(shuō)亞馬遜銷(xiāo)售額的三分之一都是來(lái)自它的個(gè)性化推薦系統?？梢?jiàn)，大數據創(chuàng )造了一種新的銷(xiāo)售模式，主動(dòng)引導用戶(hù)增加購買(mǎi)。
我們在對購物用戶(hù)群體進(jìn)行分析時(shí)，經(jīng)常會(huì )將其分為三類(lèi)，第一類(lèi)是購物目標明確，情況知道自己要買(mǎi)什么東西；第二類(lèi)是購物目標模糊，知道自己要買(mǎi)的商品類(lèi)別，具體的品牌、外觀(guān)、價(jià)格等特性并不全部都清楚；第三類(lèi)是沒(méi)有購物目標，只是以一種隨便逛逛的心態(tài)，進(jìn)入購物網(wǎng)站，看到喜歡的也會(huì )考慮購買(mǎi)。而大數據戰略可以幫助電子商務(wù)網(wǎng)站利用用戶(hù)之前購物所留下的信息，包括曾經(jīng)購買(mǎi)過(guò)什么，收藏過(guò)什么，瀏覽過(guò)什么等信息了解用戶(hù)的喜好，向其推薦可能喜歡的商品，可以增加第一類(lèi)用戶(hù)的額外消費，同時(shí)簡(jiǎn)化后兩類(lèi)用戶(hù)的尋找過(guò)程，提高流量的轉化率。
同時(shí)，對電子商務(wù)企業(yè)來(lái)說(shuō)，對大數據的充分利用，就可以探索進(jìn)行個(gè)人化、個(gè)性化、精確化和智能化地進(jìn)行廣告推送和產(chǎn)品推廣，有利于進(jìn)行更便捷的用戶(hù)調研，更精準的產(chǎn)品營(yíng)銷(xiāo)，以及更完善的售后監測。
三、過(guò)程體會(huì )
其實(shí)大學(xué)以來(lái)讀的書(shū)并不多，之前讀了克萊·舍基的《認知盈余》，書(shū)很好，但至今也未形成書(shū)面的閱讀報告。大數據是近期來(lái)一直在關(guān)注的領(lǐng)域，前幾周收集了些內容整理成一份報告，小范圍內也做過(guò)一次演講，看《大數據時(shí)代》一書(shū)是在我大數據長(cháng)期跟進(jìn)計劃中的，這份閱讀報告當然也是計劃之內的一部分?；ヂ?lián)網(wǎng)的趨勢，身為計算機學(xué)院的學(xué)生，自覺(jué)是需要有所了解的，所以不論是這次的讀書(shū)報告，還是之前的內容整理和演講，都希望自身可以給他人輸出價(jià)值，共同進(jìn)步。在本文的最后，想談?wù)勥@次閱讀過(guò)程中的體會(huì )，分享自己的讀書(shū)過(guò)程和讀書(shū)方法，希望對大家有所參考借鑒之處。
（一）不只讀一本書(shū)
雖然這篇讀書(shū)報告是我讀了《大數據時(shí)代》這本書(shū)之后寫(xiě)的，但是，讀書(shū)前后，還查閱整理了很多互聯(lián)網(wǎng)上的資料，比如謝文的博客，大數據領(lǐng)域相關(guān)學(xué)者的微博以及許多科技博客中關(guān)于大數據的內容，下載觀(guān)看了許多有關(guān)大數據名家對話(huà)的視頻，比如特邀本書(shū)作者維克托·邁爾-舍恩伯格，譯者周濤以及謝文、車(chē)品覺(jué)等大數據領(lǐng)域的知名人士參與的《對話(huà)》，李開(kāi)復、陳士駿對話(huà)的節目《社交媒體的下一浪》等，才形成了這樣一篇讀書(shū)報告。
一本書(shū)的內容是局限的，即使作者學(xué)識淵博，由于篇幅限制也不能把自己所知道的一字不漏地表達出來(lái)，所以，看書(shū)，要以一本書(shū)的內容加以擴展，沿著(zhù)內容尋找相關(guān)的文章、視頻，或者沿著(zhù)作者查閱他之前相關(guān)的書(shū)或者文章，就是說(shuō)，要把一本書(shū)，當成是鑰匙，去開(kāi)啟相關(guān)領(lǐng)域的一扇大門(mén)。
（二）先看目錄
拿到一本書(shū)，我總是先看目錄，本書(shū)的目錄在之前做大數據報告時(shí)也看過(guò)，當時(shí)未細看，現在重新好好看一遍才理解其中的邏輯關(guān)系。
整本書(shū)分為三個(gè)部分，分別是大數據時(shí)代的思維變革、商業(yè)變革和管理變革，對大數據的觀(guān)念發(fā)生改變，應用實(shí)踐才能實(shí)現大數據的價(jià)值，而在大數據商業(yè)化的過(guò)程中，又要注意對其管理統籌，實(shí)現大數據價(jià)值的最大化。
看目錄有利于對整本書(shū)整個(gè)的邏輯思路有一初步的了解，同時(shí)在閱讀的過(guò)程中，對目錄的熟悉也會(huì )對讀者思考起到一個(gè)承前啟后的作用。
（三）序看兩次
序其實(shí)是書(shū)本很精華的一部分，一般由同一領(lǐng)域比較權威的人執筆，對整本書(shū)的內容和價(jià)值進(jìn)行了一定的介紹，專(zhuān)業(yè)度也比較高。由于序的篇幅較短，信息量大，一般是原理性?xún)热萜?，缺少?shí)例來(lái)支撐其原理，內容比較難懂而且可能還有點(diǎn)枯燥，所以我之前對于序的做法一直都是跳過(guò)，這次看書(shū)，我在看書(shū)前和看書(shū)后將序看了兩遍，看書(shū)前是為了對書(shū)的內容有一定的了解，看書(shū)后是對書(shū)中內容的一次回顧整理。
聯(lián)系客服
