網絡抓取系統簡介
本產品可以抓取互聯網資訊ⓚⓛⓜⓝⓞⓟⓠⓡⓢ，包括圖片❋❀⚘☑✓✔√☐☒✗✘ㄨ✕✖✖⋆✢✣、問答ⒺⒻⒼⒽⒾⒿⓀⓁⓂⓃⓄⓅⓆⓇⓈⓉ、新聞等相關內容⓱⓲⓳⓴⓵⓶⓷⓸⓹⓺⓻⓼⓽⓾，也可以支持XMLⒺⒻⒼⒽⒾⒿⓀⓁⓂⓃⓄⓅⓆⓇⓈⓉ、CSV⒜⒝⒞⒟⒠⒡⒢⒣⒤、RSS✤✥❋✦✧✩✰✪✫✬✭✮✯❂✡★✱✲✳✴、JSON等任何數據源的采集和導入工作㊀㊁㊂㊃㊄㊅㊆㊇㊈㊉。此外⑰⑱⑲⑳⓪⓿❶❷❸❹❺，我們的平臺也支持分布式擴展ⅲⅳⅴⅵⅶⅷⅸⅹⒶⒷⒸⒹ、水平擴展⒜⒝⒞⒟⒠⒡⒢⒣⒤，通過對Drupal的集群♀☿☼☀☁☂☄，來滿足大數據的應用✵✶✷✸✹✺✻✼❄❅，另外⒥⒦⒧⒨⒩⒪⒫⒬⒭⒮⒯⒰⒱⒲⒳⒴⒵❆❇❈❉❊†☨✞✝☥☦☓☩☯，包括容錯①②③④⑤⑥⑦⑧⑨⑩⑪⑫⑬⑭⑮⑯、報警ⅲⅳⅴⅵⅶⅷⅸⅹⒶⒷⒸⒹ、多任務⓱⓲⓳⓴⓵⓶⓷⓸⓹⓺⓻⓼⓽⓾、分布式☾☽❄☃、易于擴展等優點❻❼❽❾❿⓫⓬⓭⓮⓯⓰。實現了對互聯網相關信息的采集與組合㈠㈡㈢㈣㈤㈥㈦，提供豐富的信息來源✵✶✷✸✹✺✻✼❄❅。
網絡抓取軟件解決了信息單純依靠人工進行所生產的工作效率低⒔⒕⒖⒗⒘⒙⒚⒛ⅠⅡⅢⅣⅤⅥⅦⅧⅨⅩⅪⅫⅰⅱ、采集內容有限⒜⒝⒞⒟⒠⒡⒢⒣⒤、錯誤率高等問題㈧㈨㈩⑴⑵⑶⑷⑸⑹⑺⑻⑼⑽⑾⑿⒀⒁⒂。
在技術實現上ⓊⓋⓌⓍⓎⓏⓐⓑⓒⓓⓔⓕⓖⓗⓘⓙ，我們采用統一的技術架構☾☽❄☃，分為：數據采集器ⓊⓋⓌⓍⓎⓏⓐⓑⓒⓓⓔⓕⓖⓗⓘⓙ、內容分析器㊀㊁㊂㊃㊄㊅㊆㊇㊈㊉、內容處理器和數據管理展示⒃⒄⒅⒆⒇⒈⒉⒊⒋⒌⒍⒎⒏⒐⒑⒒⒓，四個部分ⓚⓛⓜⓝⓞⓟⓠⓡⓢ。信息采集流程如下圖所示：
網絡抓取系統應用場景
網絡抓取系統正廣泛應用于多媒體數據庫平臺的建設☧☬☸✡♁✙♆。，、＇：∶；、文化類網站平臺的建設⒃⒄⒅⒆⒇⒈⒉⒊⒋⒌⒍⒎⒏⒐⒑⒒⒓、公共圖書館門戶網站ⓣⓤⓥⓦⓧⓨⓩ、各行業資訊平臺建設等等❻❼❽❾❿⓫⓬⓭⓮⓯⓰。在案例方面⑰⑱⑲⑳⓪⓿❶❷❸❹❺，我們先后開發過多個基于網絡抓取系統的成功案例：
“廣東省文化E站”文化資訊平臺
在廣東省文化E站項目中♀☿☼☀☁☂☄，我們對互聯網上400多個站點進行了數據抓取及數據加工①②③④⑤⑥⑦⑧⑨⑩⑪⑫⑬⑭⑮⑯。經后臺統計✤✥❋✦✧✩✰✪✫✬✭✮✯❂✡★✱✲✳✴，已采集到并發布的資源類信息共計6百多萬條ⓊⓋⓌⓍⓎⓏⓐⓑⓒⓓⓔⓕⓖⓗⓘⓙ；廣東文化類信息共計1百多萬條⑰⑱⑲⑳⓪⓿❶❷❸❹❺；報紙類信息共計20多萬條☧☬☸✡♁✙♆。，、＇：∶；。目前❻❼❽❾❿⓫⓬⓭⓮⓯⓰，廣東省文化E站中的資訊依然在持續更新✵✶✷✸✹✺✻✼❄❅，采集獲得的有效信息仍在持續增值中❣❦❧♡۵。
廣東省文化E站部分資源采集列表：
廣東省文化E站資源展示案例
資訊展示
報紙展示
“報圖覽粵—清末明初畫報中的廣東”多媒體數據庫
我們將網絡抓取系統應用于“報圖覽粵”項目☾☽❄☃，從互聯網上采集了數萬條相關補充數據ⓊⓋⓌⓍⓎⓏⓐⓑⓒⓓⓔⓕⓖⓗⓘⓙ，豐富了“報圖覽閱”多媒體數據庫的內容⑰⑱⑲⑳⓪⓿❶❷❸❹❺。采集到的數據展示效果ⓚⓛⓜⓝⓞⓟⓠⓡⓢ，如下所示:
“陽江圖書館”門戶網站
我們為陽江圖書館門戶網站建設陽江資訊欄目웃유ღ♋♂，有針對性的采集了大量最新的陽江要聞✵✶✷✸✹✺✻✼❄❅、陽江資訊⒜⒝⒞⒟⒠⒡⒢⒣⒤，并進行了數據分類☾☽❄☃、加工❋❀⚘☑✓✔√☐☒✗✘ㄨ✕✖✖⋆✢✣。呈現給讀者：
網絡抓取系統主要功能
采集源管理
可對需采集信息的站點進行統一管理☈⊙☉℃℉❅，可添加新站點⑰⑱⑲⑳⓪⓿❶❷❸❹❺、刪除過時的采集站點☈⊙☉℃℉❅。可對采集源進行參數設置①②③④⑤⑥⑦⑧⑨⑩⑪⑫⑬⑭⑮⑯，如：采集時間☾☽❄☃、采集數量⒔⒕⒖⒗⒘⒙⒚⒛ⅠⅡⅢⅣⅤⅥⅦⅧⅨⅩⅪⅫⅰⅱ、關鍵詞⒃⒄⒅⒆⒇⒈⒉⒊⒋⒌⒍⒎⒏⒐⒑⒒⒓、地址♀☿☼☀☁☂☄、采集數據格式設置等ⒺⒻⒼⒽⒾⒿⓀⓁⓂⓃⓄⓅⓆⓇⓈⓉ。目前⒜⒝⒞⒟⒠⒡⒢⒣⒤，我們支持抓取HTML㈧㈨㈩⑴⑵⑶⑷⑸⑹⑺⑻⑼⑽⑾⑿⒀⒁⒂、XML/RSSⅲⅳⅴⅵⅶⅷⅸⅹⒶⒷⒸⒹ、CSV♦☜☞☝✍☚☛☟✌✽✾✿❁❃、JSON等多種通用數據格式✺ϟ☇♤♧♡♢♠♣♥，也支持自定義數據格式ⓣⓤⓥⓦⓧⓨⓩ。
采集信息管理
可對采集到的信息進行加工⓱⓲⓳⓴⓵⓶⓷⓸⓹⓺⓻⓼⓽⓾，包含對采集結果進行分類❋❀⚘☑✓✔√☐☒✗✘ㄨ✕✖✖⋆✢✣、編輯✤✥❋✦✧✩✰✪✫✬✭✮✯❂✡★✱✲✳✴、審核✺ϟ☇♤♧♡♢♠♣♥、發布✵✶✷✸✹✺✻✼❄❅、刪除❣❦❧♡۵、存儲位置設置等操作㈧㈨㈩⑴⑵⑶⑷⑸⑹⑺⑻⑼⑽⑾⑿⒀⒁⒂。我們還提供采集結果測試功能⒜⒝⒞⒟⒠⒡⒢⒣⒤，可對采集到的數據信息進行測試✵✶✷✸✹✺✻✼❄❅，便于快速檢查采集到的內容是否正確ⓣⓤⓥⓦⓧⓨⓩ。
產品主要優勢
- 可對站點的配置內容進行快速導出❻❼❽❾❿⓫⓬⓭⓮⓯⓰、導入❣❦❧♡۵，能對個站點進行快速配置⒔⒕⒖⒗⒘⒙⒚⒛ⅠⅡⅢⅣⅤⅥⅦⅧⅨⅩⅪⅫⅰⅱ。
- 易于集成：可集成在任何系統上☧☬☸✡♁✙♆。，、＇：∶；。
- 基于Drupal結構的擴展⓱⓲⓳⓴⓵⓶⓷⓸⓹⓺⓻⓼⓽⓾，因此包含海量的開源模塊❋❀⚘☑✓✔√☐☒✗✘ㄨ✕✖✖⋆✢✣。
集群抓取系統拓撲圖
