基于行塊分布函數的通用網(wǎng)頁(yè)正文抽?。壕€(xiàn)性時(shí)間、不建DOM樹(shù)、與HTML標簽無(wú)關(guān)
對于Web信息檢索來(lái)說(shuō)，網(wǎng)頁(yè)正文抽取是后續處理的關(guān)鍵。
雖然使用正則表達式可以準確的抽取某一固定格式的頁(yè)面，但面對形形色色的HTML，使用規則處理難免捉襟見(jiàn)肘。能不能高效、準確的將一個(gè)頁(yè)面的正文抽取出來(lái)，并做到在大規模網(wǎng)頁(yè)范圍內通用，這是一個(gè)直接關(guān)系上層應用的難題。
作者提出了《基于行塊分布函數的通用網(wǎng)頁(yè)正文抽取算法》，首次將網(wǎng)頁(yè)正文抽取問(wèn)題轉化為求頁(yè)面的行塊分布函數，這種方法不用建立Dom樹(shù)，不被病態(tài)HTML所累（事實(shí)上與HTML標簽完全無(wú)關(guān)）。通過(guò)在線(xiàn)性時(shí)間內建立的行塊分布函數圖，直接準確定位網(wǎng)頁(yè)正文。同時(shí)采用了統計與規則相結合的方法來(lái)處理通用性問(wèn)題。作者相信簡(jiǎn)單的事情總應該用最簡(jiǎn)單的辦法來(lái)解決這一亙古不變的道理。整個(gè)算法實(shí)現代碼不足百行。但量不在多，在法。
建議使用svn checkout http://cx-extractor.googlecode.com/svn/trunk/，svn的好處是更新及時(shí)，zip包作者不能保證每次修改完后都及時(shí)上傳 :)
There are undoubtedly serious bugs lurking somewhere in code this funky. So feel free to contact us if you meet any problem.
Bug reports and other feedback are most welcome :-)
| Version | Author | Institute | |
| Perl | 陳鑫 | xchen@ir.hit.edu.cn | 哈工大信息檢索研究中心 |
| Java | 王利鋒、羅磊 | {lfwang,lluo}@ir.hit.edu.cn | 哈工大信息檢索研究中心 |
| C++ | 朱亮 | zhuliang@software.ict.ac.cn | 中科院計算所高級網(wǎng)絡(luò )重點(diǎn)實(shí)驗室 |
| PHP | 軒文烽 | xwf1788@gmail.com | 哈工大智能技術(shù)與自然語(yǔ)言處理研究室 |
| C# | 張帆 | zfannn@gmail.com | 中科院信息科學(xué)與工程學(xué)院 |
聯(lián)系客服
