Web使用記錄挖掘 1.介紹
在web上執行業(yè)務(wù)流程易用性和快速性是電子商務(wù)迅速增長(cháng)的關(guān)鍵驅動(dòng)力量。而且電子商務(wù)也把最終用戶(hù)卷入了一場(chǎng)深重的革命中。跟蹤用戶(hù)瀏覽行為甚至個(gè)體鼠標點(diǎn)擊的能力將商家和最終用戶(hù)前所未有的拉近了?，F在對商家來(lái)說(shuō)，針對大量的客戶(hù)訂制行為對每個(gè)顧客提供個(gè)性化的產(chǎn)品信息是可以實(shí)現的。
上面所說(shuō)的是web 使用挖掘的一個(gè)可能的應用場(chǎng)景，是基于應用型數據的挖掘技術(shù)到基于web數據的使用模型發(fā)現的一個(gè)處理過(guò)程。與web相關(guān)的數據挖掘就稱(chēng)之為web挖掘，廣義上可以分為三類(lèi)，內容挖掘，用途挖掘，結構挖掘。Web內容挖掘和結構挖掘不在文章范圍之內。 [29]也提出了早期的一種web挖掘分類(lèi)方法，并描述了web挖掘系統的架構，給出了web用途挖掘的第一個(gè)系統。正在進(jìn)行的與KDD-1999會(huì )議協(xié)辦的webKDD[41]，提供了一些web用途挖分析領(lǐng)域的研究的樣本，它包含web使用挖掘。本文提供了學(xué)院和工業(yè)研究機構以及商業(yè)團體最近進(jìn)行的web使用挖掘工作的最新調查。第二部分描述了對web使用挖掘的各種web數據。第三部分討論了web數據使用模型挖掘研究中的主要問(wèn)題以及預處理，模型發(fā)現，模型分析這三個(gè)處理的階段第四部分給出了一個(gè)web使用挖掘的詳細分類(lèi)。第五部分概述了一個(gè)web使用挖掘系統webSIFT。第六部分發(fā)表個(gè)人的觀(guān)點(diǎn)。第七部分是總結。
2.WEB 數據
數據庫知識發(fā)現一個(gè)關(guān)鍵步驟是創(chuàng )建一個(gè)合適的目標數據集。在Web挖掘中，數據可以從服務(wù)器，客戶(hù)端，代理服務(wù)器或者某個(gè)組織的數據庫（包含業(yè)務(wù)數據和整理過(guò)的Web數據）中收集。數據采集的每個(gè)步驟都與從本地數據源采集都有所不同，比如數據的可用性，數據的分塊，實(shí)現的方法等。
在web挖掘中有以下幾類(lèi)數據可以使用：
l 內容：web頁(yè)面的真實(shí)數據，為傳送用戶(hù)請求而設計的web數據。通常包含文本和圖形，但并不僅僅如此。
l 結構：描述內容是如何組織的。頁(yè)面內部結構信息包括在特定頁(yè)面里各種HTML和XML標記是如何安排。這個(gè)可以用一個(gè)樹(shù)形結構表示，<html>標記是樹(shù)的根節點(diǎn)。內部頁(yè)面結構信息主要是超鏈接。
l 使用：描述web頁(yè)面使用模型的數據，例如IP地址，頁(yè)面引用，用戶(hù)訪(fǎng)問(wèn)的時(shí)間和數據。
l 用戶(hù)代理：能夠提供web站點(diǎn)的用戶(hù)統計信息的數據。包含注冊信息和客戶(hù)代理信息。
2.1 數據來(lái)源
從單用戶(hù)，單站點(diǎn)的瀏覽行為到用戶(hù)，多站點(diǎn)的訪(fǎng)問(wèn)模式，從不同數據源收集的使用數據將表現所有web流量的不同分塊對應的不同的導航模型。
2.1.1 服務(wù)器端的數據收集
一個(gè)web服務(wù)器是一個(gè)重要的數據來(lái)源，因為它明確記錄了網(wǎng)站訪(fǎng)問(wèn)者的瀏覽行為。他反映了多個(gè)用戶(hù)對一個(gè)站點(diǎn)的訪(fǎng)問(wèn)信息。這些日志文件可以以不同的格式保存，例如普通log格式和擴展的log格式。圖2是一個(gè)擴展日志文件格式的例子。然而，在web環(huán)境中多緩存的數據可能使日志文件是完全不可靠的。緩存的頁(yè)面試圖沒(méi)有被記錄在日志文件中。而且任何通過(guò)POST方法提交的重要信息在日志文件中是無(wú)法獲取的。包監測技術(shù)是另一種從服務(wù)器日至中獲取數據的方法。包檢測技術(shù)能夠監控來(lái)自某web服務(wù)器和TCP/IP包的網(wǎng)絡(luò )流量。Web服務(wù)器也可能保存其他使用信息，例如cookies和單個(gè)日志的查詢(xún)數據。Cookie是網(wǎng)站用來(lái)跟蹤訪(fǎng)問(wèn)者而由服務(wù)器生成的客戶(hù)的數據。HTTP協(xié)議的無(wú)連接特性使得跟蹤單個(gè)用戶(hù)不是一個(gè)簡(jiǎn)單地工作。Cookies隱含的記錄用戶(hù)的操作，而且現在被視為用戶(hù)的隱私。這種觀(guān)點(diǎn)在第六部分將被討論到。查詢(xún)數據也是服務(wù)器記錄在線(xiàn)用戶(hù)查詢(xún)它們所需要的信息時(shí)而成的。除了使用數據，web服務(wù)器也記錄了內容信息，結構信息及web頁(yè)元信息（如文件長(cháng)度和最后修改時(shí)間等）。
Web服務(wù)器也使用CGI腳本等工具處理用戶(hù)發(fā)送的請求。服務(wù)器能根據解析URI來(lái)判斷用戶(hù)請求的文件是否是一個(gè)應用程序。對某個(gè)CGI程序發(fā)送的URI（Uniform Resource Identifer）可以包含參數。CGI完成了執行任務(wù)，web服務(wù)器將把結果返回給用戶(hù)。
2.1.2 客戶(hù)端數據收集
可以用遠程代理（javascript或者javaapplets）來(lái)實(shí)現客戶(hù)端的數據收集。通過(guò)修改現存瀏覽器的源代碼（Mosaic或mozilla）可以增強其數據收集的能力?？蛻?hù)端數據采集的方法需要用戶(hù)寫(xiě)作，比如客戶(hù)需要把瀏覽器的javascript和javaapplet的禁用功能取消或者志愿使用開(kāi)源的瀏覽器?？蛻?hù)端收集一個(gè)比從服務(wù)器端收集好的地方就是他改善了緩存和會(huì )話(huà)（session）識別的問(wèn)題。然而在確定實(shí)際的瀏覽頁(yè)時(shí)間時(shí)，javaapplet執行的效率并不比服務(wù)器日志要好，當他第一次載入的時(shí)候尤其要花費額外的時(shí)間。Javascript由客戶(hù)端的解釋器執行，但不能捕捉到所有的用戶(hù)點(diǎn)擊（例如刷新和后退按鈕）。這些方法只能收集單用戶(hù)單站點(diǎn)的瀏覽行為。這種方法最困難的是如何確認用戶(hù)是否使用這個(gè)瀏覽器進(jìn)行日常的瀏覽行為。這個(gè)可以通過(guò)提供愿意使用此瀏覽器的用戶(hù)獎勵的方法來(lái)解決。類(lèi)似NetZero[9]和AllAdvantage[2]公司便是這樣，他們會(huì )給與額外的程序功能給那些在網(wǎng)上沖浪是經(jīng)常點(diǎn)擊工具欄上的功高的用戶(hù)。
2.1.3 代理端的數據收集
Web代理作為一種處于客戶(hù)瀏覽器和服務(wù)器之間的緩存機制，它能降低某些頁(yè)面載入的時(shí)間，如果這些頁(yè)面曾經(jīng)被用戶(hù)訪(fǎng)問(wèn)過(guò)。代理緩存的執行效率依賴(lài)于預測將來(lái)請求的頁(yè)面的正確率。代理技術(shù)可以揭示多用戶(hù)訪(fǎng)問(wèn)多服務(wù)器的實(shí)際HTTP請求。它可以描述一組匿名用戶(hù)的瀏覽行為的特征，如果這些用戶(hù)共享一個(gè)通用代理服務(wù)器。
2.3 數據抽象
上面提供的幾種數據源能抽象成幾類(lèi)數據，特別是用戶(hù)，服務(wù)器session，episode，點(diǎn)擊流，瀏覽頁(yè)，為了保證術(shù)語(yǔ)的一致性。WCA（W3C Web Characterization Activity）發(fā)布了一個(gè)與web使用分析相關(guān)的web術(shù)語(yǔ)標準化的草案。 用戶(hù)是通過(guò)瀏覽器從某臺機器訪(fǎng)問(wèn)服務(wù)器文件的個(gè)體。一個(gè)用戶(hù)可以通過(guò)不同的機器訪(fǎng)問(wèn)統一個(gè)web，或者在一個(gè)機器里面使用不同的代理。 一個(gè)瀏覽頁(yè)包括在用戶(hù)某一時(shí)刻看到的瀏覽器內容。瀏覽頁(yè)往往與單用戶(hù)行為聯(lián)系在一起，可能由幾個(gè)不同的文件組成，比如框架，圖形和腳本。當我們分析用戶(hù)行為時(shí)，往往夸大了瀏覽頁(yè)數據的重要性。因為用戶(hù)不會(huì )明確的訪(fǎng)問(wèn)加載到其瀏覽器中的n個(gè)框架和m個(gè)圖形，用戶(hù)請求的是一個(gè)“web頁(yè)面”。確定由哪些文件組成一個(gè)瀏覽頁(yè)這樣的數據可以從web服務(wù)器上獲取到。點(diǎn)擊流是一組連續的瀏覽頁(yè)的請求，從服務(wù)器端提取的數據不會(huì )總能夠重建對一個(gè)站點(diǎn)的完整點(diǎn)擊流。通過(guò)客戶(hù)端或代理訪(fǎng)問(wèn)的瀏覽頁(yè)在服務(wù)器端是不可見(jiàn)的。用戶(hù)session是單個(gè)用戶(hù)訪(fǎng)問(wèn)整個(gè)頁(yè)面的點(diǎn)擊流。既然訪(fǎng)問(wèn)信息對大多數web服務(wù)器是不公開(kāi)的，每個(gè)用戶(hù)訪(fǎng)問(wèn)特定站點(diǎn)的用戶(hù)session只有一部分是可用的。用戶(hù)session中對某個(gè)web服務(wù)器的點(diǎn)擊流是一個(gè)服務(wù)器session。對web用途挖掘和其他數據挖掘工具而言，必須要有一系列的服務(wù)器session作為輸入。對一個(gè)特定的站點(diǎn)當用戶(hù)瀏覽會(huì )話(huà)結束時(shí)服務(wù)器session也就結束了。然而這只是個(gè)簡(jiǎn)單的概念，實(shí)際服務(wù)器session很難被可靠的跟蹤。W3C WCA提出了episode的概念，它是一個(gè)服務(wù)器session的一個(gè)語(yǔ)義子集。
3.Web使用挖掘
如圖1所示，web使用分析或web使用挖掘主要包括三個(gè)任務(wù)。本節概括描述了web使用挖掘的這三個(gè)任務(wù)及每個(gè)任務(wù)需要完成的工作。
3.1預處理
預處理包括將使用記錄，內容，結構轉化為模式分析所需要的有用的數據。
3.1.1 使用預處理
因為可用數據的不完整性使得使用預處理成為使用挖掘過(guò)程中最困難得惡任務(wù)。除非客戶(hù)端的跟蹤機制被充分使用，當IP地址，代理，服務(wù)器段的點(diǎn)擊流都可以準確地標志用戶(hù)和服務(wù)器session。下面列出了一些可能遇到的典型問(wèn)題：
單個(gè)IP地址/多服務(wù)器session問(wèn)題。ISP通常會(huì )提供一個(gè)代理服務(wù)器的池。單個(gè)代理服務(wù)器可能含有幾個(gè)用戶(hù)信息，這些用戶(hù)在同一時(shí)間段內訪(fǎng)問(wèn)了同一個(gè)站點(diǎn)。
多個(gè)IP地址/單服務(wù)器session問(wèn)題：某些ISP或者私人工具會(huì )隨機將幾個(gè)IP地址分配給統一個(gè)用戶(hù)使用。在這里案例中，單個(gè)服務(wù)器session就會(huì )含有多個(gè)IP地址。
多IP地址/但用戶(hù)問(wèn)題：一個(gè)用戶(hù)可能從擁有不同IP的不同機器上訪(fǎng)問(wèn)同一個(gè)站點(diǎn)。這使得跟蹤同一個(gè)用戶(hù)的訪(fǎng)問(wèn)比較困難。
多代理/單用戶(hù)問(wèn)題：一個(gè)用戶(hù)可能會(huì )用不止一個(gè)瀏覽器，即使在同一個(gè)機器上，也會(huì )被視為多個(gè)用戶(hù)。
假設現在每個(gè)用戶(hù)都被唯一的標識（通過(guò)cookies，登錄，或者IP/代理/路徑分析），每個(gè)用戶(hù)的點(diǎn)擊流被分割為不同的sessions。從其他服務(wù)器上的頁(yè)面請求不具有典型性，所以很難知道某用戶(hù)什么時(shí)候推出一個(gè)web站點(diǎn)。切斷一個(gè)點(diǎn)擊流默認的方法是設一個(gè)30分鐘的超時(shí)退出。30分超時(shí)算法來(lái)源于[23]。如果一個(gè)session的標志嵌入在URI里面，則服務(wù)器可以確定每個(gè)session。
當每個(gè)用戶(hù)行為在服務(wù)器日志里作為一個(gè)字段能夠提供確切的信息，有必要訪(fǎng)問(wèn)內容服務(wù)器。內容服務(wù)器能為每個(gè)活動(dòng)的session維護一個(gè)狀態(tài)變量，所以一個(gè)用戶(hù)請求的內容在URI不能總是被獲取到。預處理過(guò)程中最后一個(gè)問(wèn)題是推斷出被緩存的頁(yè)面引用。就像在2.2所討論的那樣，唯一可以證實(shí)的跟蹤緩存中瀏覽頁(yè)的方法是監控客戶(hù)端的使用數據。每個(gè)請求的引用字段可以用來(lái)監測用戶(hù)看到的緩存中的頁(yè)面實(shí)例。
圖2給出了上面討論的幾個(gè)問(wèn)題的例子（第一列不是實(shí)際服務(wù)器日志，只是為了描述的目的）。地址123.456.78.9對應三個(gè)服務(wù)器sessions，209.456.78.2和209.45.78.3對于四個(gè)sessions。用referer和agent這兩個(gè)字段，第1行道第11行可悲分為三個(gè)sessions，分別為A-B-F-O-G，L-R，和A-B-C-J。路徑補足后的第一個(gè)session變?yōu)锳-B-F-O-F-B-G，第三個(gè)為A-B-A-C-J。如果不用Cookies，除了一種嵌入式的Session號或者客戶(hù)端的數據收集方法外不能確定12和13條記錄實(shí)際上是一個(gè)單個(gè)的服務(wù)器session。
3.1.2 內容預處理
內容預處理包括以下任務(wù)，轉換文本，圖像，腳本和其他多媒體數據轉換成對web使用挖掘有用的格式。通常，包括對內容進(jìn)行分類(lèi)和聚類(lèi)。然而對web站點(diǎn)內容的數據挖掘時(shí)一個(gè)非常有意思的研究領(lǐng)域。在web使用挖掘的上下文中，站點(diǎn)內容能用來(lái)過(guò)濾模型發(fā)現的輸入和輸出。例如，一個(gè)分類(lèi)算法的結果能對特定主題和產(chǎn)品的瀏覽頁(yè)分類(lèi)。除了根據主題對瀏覽頁(yè)進(jìn)行分類(lèi)或聚類(lèi)，還可以對根絕用戶(hù)的使用意圖進(jìn)行分類(lèi)。瀏覽頁(yè)也可以傳遞信息（通過(guò)文本，圖形和其他多媒體信息），收集來(lái)自用戶(hù)的信息，允許導航（通過(guò)超鏈接列表），或者對用戶(hù)分組。瀏覽頁(yè)的使用意圖也可以在模型發(fā)現之前和之后對session進(jìn)行過(guò)濾。為了運行內容挖掘，瀏覽頁(yè)的信息必須首先進(jìn)行量化。這一階段任務(wù)的典型方法是向量空間模型法。文本可以分割為單詞的向量。圖形或多媒體信息可以用文本和關(guān)鍵字替代。靜態(tài)瀏覽頁(yè)的預處理比較簡(jiǎn)單，通過(guò)解析HTML和重新對信息格式化或運行其他的需求算法就可以實(shí)現。動(dòng)態(tài)瀏覽頁(yè)比較難處理。內容服務(wù)器使用個(gè)性化的技術(shù)手段比如使用關(guān)系數據局來(lái)構建瀏覽頁(yè)的方法可以獲取更多可以被預處理的數據。一個(gè)給定的服務(wù)器sessions可以訪(fǎng)問(wèn)一個(gè)大的動(dòng)態(tài)站點(diǎn)一些瀏覽頁(yè)。這里內容可以有規則的進(jìn)行改變。每個(gè)瀏覽頁(yè)的內容必須是“匯編的”。不論是從基于HTTP的爬蟲(chóng)程序，或者一組模版，腳本或數據庫數據獲取的。如果只是瀏覽頁(yè)的一部分能被預處理，那分類(lèi)和聚類(lèi)可能不準確。
3.1.3結構預處理
站點(diǎn)的結構通過(guò)頁(yè)面之間的超級鏈接建立的。站點(diǎn)的結構預處理的方法與內容預處理基本相同。動(dòng)態(tài)內容比靜態(tài)內容導致更多問(wèn)題。不同的站點(diǎn)結構可能必須針對每個(gè)服務(wù)器session進(jìn)行構建。
3.2 模型發(fā)現
模型發(fā)現相關(guān)的算法有很多包括統計學(xué)，數據挖掘，機器學(xué)習和模式識別。本文目的不是描述所有算法和技術(shù)。有興趣的讀者可以參考[33；24]。這部分描述的是可以應用到web領(lǐng)域的各種挖掘方法。其他領(lǐng)域的方法可以用來(lái)對數據抽象和web挖掘服務(wù)。比如關(guān)聯(lián)規則，給予市場(chǎng)分析的事物標記法雖然在前面并未被考慮，那時(shí)因為識別一個(gè)session是非常困難的，需要了解一些其他的知識（比如前面所說(shuō)的設置超時(shí)限制）。
3.2.1 統計分析
統計學(xué)是提取知識的最通用的方法。分析session文件時(shí)，各種分析法（頻率，平均數，中值等）可對瀏覽頁(yè)的各種變量進(jìn)行統計，比如瀏覽頁(yè)的瀏覽時(shí)間和瀏覽路徑等。許多web流浪分析工具體能對統計信息諸如頻率最大的訪(fǎng)問(wèn)頁(yè)，一個(gè)頁(yè)面的平均訪(fǎng)問(wèn)時(shí)間和一個(gè)站點(diǎn)的平均訪(fǎng)問(wèn)長(cháng)度等給出周期性的報表，但這個(gè)報表可能包含最低級的錯誤，因為他包含一些非法訪(fǎng)問(wèn)和無(wú)效的URI。除了知識的深度，統計學(xué)在提高系統效率，加強系統安全性，方便網(wǎng)站修改和提供市場(chǎng)決策支持等方面還是很有用的。
3.2.2 關(guān)聯(lián)規則
關(guān)聯(lián)規則可以生成在一個(gè)服務(wù)器session中最有可能被引用的頁(yè)面。在web用途挖掘環(huán)境中，關(guān)聯(lián)規則可以提供一個(gè)瀏覽頁(yè)的集合，只要這些瀏覽頁(yè)的支持值超過(guò)一個(gè)給定的閾值。這些頁(yè)面可能并沒(méi)有通過(guò)超鏈接與用戶(hù)瀏覽頁(yè)面直接連接在一起。例如用Apriori算法的關(guān)聯(lián)規則發(fā)現可以揭示訪(fǎng)問(wèn)電子產(chǎn)品的用戶(hù)和訪(fǎng)問(wèn)運動(dòng)設備的用戶(hù)之間的內在關(guān)聯(lián)。除了應用于商務(wù)和市場(chǎng)營(yíng)銷(xiāo)，也可以幫助web設計者對站點(diǎn)進(jìn)行修改。而且可以當從遠程主機加載一個(gè)頁(yè)面時(shí)，作為降低用戶(hù)感知期的一個(gè)指導性文件。
3.2.3聚類(lèi)
聚類(lèi)是一種將具有相似特性的項集分組的技術(shù)。在web使用領(lǐng)域。有兩種有趣的聚類(lèi)：用戶(hù)聚類(lèi)和頁(yè)聚類(lèi)。用戶(hù)聚類(lèi)是對具有相似瀏覽模式的用戶(hù)進(jìn)行分類(lèi)。它在某些方面是很有用的，比如通過(guò)對用戶(hù)行為進(jìn)行推斷和統計在電子商務(wù)應用中可以有效的對市場(chǎng)進(jìn)行劃分，或者給用戶(hù)提供個(gè)性化的web內容。而頁(yè)的聚類(lèi)可以發(fā)現有相關(guān)內容的頁(yè)面，可以用在互聯(lián)網(wǎng)搜索引擎和web關(guān)聯(lián)提供領(lǐng)域。在這兩種應用里，都可以根據用戶(hù)的查詢(xún)和歷史信息，創(chuàng )建靜態(tài)或動(dòng)態(tài)的頁(yè)面，為用戶(hù)提供一些相關(guān)超鏈接的建議。
3.2.4分類(lèi)
分類(lèi)是將一個(gè)數據項映射到一個(gè)或幾個(gè)預先定義好的類(lèi)中。在web領(lǐng)域，可以開(kāi)發(fā)應用到特定用戶(hù)群體的一個(gè)代理服務(wù)器。這需要提取最能描述用戶(hù)類(lèi)別特性的數據。分類(lèi)可以通過(guò)有導師學(xué)習例如決策樹(shù)分類(lèi)，普通的Bayesian分類(lèi)算法， k近鄰法，向量支持機等。對服務(wù)器日志的分類(lèi)可以發(fā)現某些興趣規則，比如30%的經(jīng)常瀏覽產(chǎn)品、音樂(lè )的用戶(hù)在18-25之間而且住在西海岸。
3.2.5序列化模式
序列化模型技術(shù)試圖發(fā)現項集的內部關(guān)系。比如在一個(gè)時(shí)間有序的session或episode中一個(gè)項集是跟在另一個(gè)項集之后的。通過(guò)這種方法，web市場(chǎng)人員能預測將來(lái)的訪(fǎng)問(wèn)模式，這對特定用戶(hù)群有目的的放置一些廣告是有用的。對序列化模型一些臨時(shí)性的方法是有效的，比如意圖分析，改變點(diǎn)檢測或者相似性分析（trend analysis, change point detection, similarity analysis.）。
3.2.6依賴(lài)模式
依賴(lài)模式是另一個(gè)有益的模式發(fā)現的工作。目標是開(kāi)發(fā)一個(gè)模型，這個(gè)模型可以表示大量web領(lǐng)域的變量之間的的依賴(lài)關(guān)系。舉個(gè)例子，可以構建一個(gè)模型，它能表示用戶(hù)再往上商店購買(mǎi)行為的不同階段（即從一個(gè)偶然的訪(fǎng)問(wèn)到潛在的購買(mǎi)行為）。對用戶(hù)瀏覽行為進(jìn)行建模的方式包括Hidden MarkovModels和Bayesian Belief Networks.對web使用模型的建模不僅能提供一個(gè)分析用戶(hù)行為的理論框架，而且可以預測將來(lái)的web資源消費。這些信息可以提高web網(wǎng)站的銷(xiāo)售額或者為用戶(hù)提供更便利的導航系統。
3.3 模型分析
模型分析是web挖掘處理過(guò)程的最后一步。模型分析的動(dòng)機是從模型發(fā)現階段發(fā)現的規則或模型過(guò)濾掉其中不感興趣的部分。準確的方法學(xué)取決于具體的web挖掘的應用。最通用的模型分析應該包括類(lèi)似SQL的制式查詢(xún)機制。也有的方法為了能夠執行OLAP操作而把使用逐句加載到數據立方體中?？梢暬夹g(shù)也是一種方法，比如模型圖形化或者為了在所有數據中強調所有的模型而給不同的值設置成不同的顏色。內容和結構信息也可以用來(lái)對包含特定使用類(lèi)型、內容類(lèi)型或者匹配特定超級鏈接結構的頁(yè)面的模型進(jìn)行過(guò)濾。
