案例介紹
中山大學Drupal網站項目是通過Drupal抓取技術實現了對中山大學校內超過90個學院ⓊⓋⓌⓍⓎⓏⓐⓑⓒⓓⓔⓕⓖⓗⓘⓙ、機關單位代碼的抓取㊀㊁㊂㊃㊄㊅㊆㊇㊈㊉、網站內容更新웃유ღ♋♂、網站內容的同步⒔⒕⒖⒗⒘⒙⒚⒛ⅠⅡⅢⅣⅤⅥⅦⅧⅨⅩⅪⅫⅰⅱ。
本項目實現了中山大學校內網站通過靜態化確保網絡安全和信息安全✤✥❋✦✧✩✰✪✫✬✭✮✯❂✡★✱✲✳✴，確保了網站內容以及源站的安全ⒺⒻⒼⒽⒾⒿⓀⓁⓂⓃⓄⓅⓆⓇⓈⓉ。
Drupal抓取技術
我們的技術團隊具備豐富的數據采集經驗♀☿☼☀☁☂☄，可實現包括圖片⑰⑱⑲⑳⓪⓿❶❷❸❹❺、問答ⅲⅳⅴⅵⅶⅷⅸⅹⒶⒷⒸⒹ、新聞等相關內容的數據抓取ⒺⒻⒼⒽⒾⒿⓀⓁⓂⓃⓄⓅⓆⓇⓈⓉ，也可以支持XML㊀㊁㊂㊃㊄㊅㊆㊇㊈㊉、CSV✤✥❋✦✧✩✰✪✫✬✭✮✯❂✡★✱✲✳✴、RSS㈠㈡㈢㈣㈤㈥㈦、JSON等任何數據源的采集和導入工作ⓚⓛⓜⓝⓞⓟⓠⓡⓢ。此外①②③④⑤⑥⑦⑧⑨⑩⑪⑫⑬⑭⑮⑯，我們的平臺還支持分布式擴展ⓊⓋⓌⓍⓎⓏⓐⓑⓒⓓⓔⓕⓖⓗⓘⓙ、水平擴展㈠㈡㈢㈣㈤㈥㈦，通過對Drupal的集群ⓚⓛⓜⓝⓞⓟⓠⓡⓢ，來滿足大數據的應用ⒺⒻⒼⒽⒾⒿⓀⓁⓂⓃⓄⓅⓆⓇⓈⓉ，另外ⓚⓛⓜⓝⓞⓟⓠⓡⓢ，包括容錯⒥⒦⒧⒨⒩⒪⒫⒬⒭⒮⒯⒰⒱⒲⒳⒴⒵❆❇❈❉❊†☨✞✝☥☦☓☩☯、報警♀☿☼☀☁☂☄、多任務웃유ღ♋♂、分布式⒃⒄⒅⒆⒇⒈⒉⒊⒋⒌⒍⒎⒏⒐⒑⒒⒓、易于擴展等優點⒜⒝⒞⒟⒠⒡⒢⒣⒤。實現了對互聯網相關信息的采集與組合⑰⑱⑲⑳⓪⓿❶❷❸❹❺，提供豐富的信息來源⒔⒕⒖⒗⒘⒙⒚⒛ⅠⅡⅢⅣⅤⅥⅦⅧⅨⅩⅪⅫⅰⅱ。
網絡抓取技術解決了信息單純依靠人工進行所生產的工作效率低✺ϟ☇♤♧♡♢♠♣♥、采集內容有限⓱⓲⓳⓴⓵⓶⓷⓸⓹⓺⓻⓼⓽⓾、錯誤率高等問題✵✶✷✸✹✺✻✼❄❅。
在技術實現上❣❦❧♡۵，我們采用統一的技術架構웃유ღ♋♂，分為：數據采集器⒜⒝⒞⒟⒠⒡⒢⒣⒤、內容分析器♀☿☼☀☁☂☄、內容處理器和數據管理展示⒃⒄⒅⒆⒇⒈⒉⒊⒋⒌⒍⒎⒏⒐⒑⒒⒓，四個部分❣❦❧♡۵。信息采集流程如下圖所示：
