2014年2月17日 星期一

網絡爬蟲


上星期看新聞,認識到「網絡爬蟲」這種東西原來這麼勁,似乎是很好玩的東西。之前對它只有很初步的概念,在網上看了相關資料,認識較深了。受到網友的啟發,我嘗試以 PHP + MySQL + Cronjob 編寫一隻很基本的「網絡爬蟲」替我抓取 Sita 的內容。用 PHP 是因為很多東西都在 PHP 上試過,開發較快;MySQL 則是用來儲存找到的數據;至於 Cronjob,考慮到不想太過消耗寬頻,以免影響日常運作。反正工作不趕急,慢慢抓也不壞。

每筆數據都會被評分,分數是來自「關鍵字」的出現數量。分數越高的網址會優先進行分析及擴散。找不到「關鍵字」則會被扣分,連累到由這顯生出來的網址。若「關鍵字」出現的網頁內容也會同時被儲存下來,方便進一步處理。

Website Found Website Done Website Waiting
Busy Busy Busy

9 則留言:

SID LE 提到...

竟然可以做到這個程度...收穫大嗎?

Pacess HO 提到...

收穫好多是重覆,亦有好多是一個包含 sita 的長英文字... 程式需要改良一下,已經停止搜索。

SID LE 提到...

...
可以給我一份頭條日報17/4前sita報道的標題目錄嗎?我付費到星島網找昔日新聞,原來不包括頭條日報。而且星島和頭條的內容好像不重覆。
是用來完成我的報章篇的。

Pacess HO 提到...

這是我目前的剪報資料:
20110628_HeadlineDaily_p70.png
20110708_AppleDaily_陳僖儀競逐樂壇冇鬥心.png
20110730_HeadlineDaily_p22.png
20110822_HeadlineDaily_p62.png
20111211_HeadlineDaily_p27.png
20120227_HeadlineDaily_p63.png
20120302_HeadlineDaily_p84.png
20120316_HeadlineDaily_p98.png
20120319_HeadlineDaily_p72.png
20120423_HeadlineDaily_p58.png
20120509_HeadlineDaily_p76.png
20120518_AppleDaily_陳僖儀唱得又演得.png
20120527_HeadlineDaily_p24.png
20120601_HeadlineDaily_p108.png
20120618_HeadlineDaily_p68.png
20120706_HeadlineDaily_p122.png
20120723_HeadlineDaily_p73.png
20120802_HeadlineDaily_p78.png
20120803_HeadlineDaily_p122.png
20120810_HeadlineDaily_p128.png
20120811_HeadlineDaily_p52.png
20120814_HeadlineDaily_p63.png
20120904_HeadlineDaily_p58.png
20120917_HeadlineDaily_p14.png
20120921_AppleDaily_陳僖儀床戰女模.png
20120921_HeadlineDaily_p106.png
20120924_HeadlineDaily_p74.png
20120928_HeadlineDaily_p115.png
20121005_HeadlineDaily_p112.png
20121021_HeadlineDaily_p29.png
20121022_HeadlineDaily_p70.png
20121026_HeadlineDaily_p90.png
20121109_HeadlineDaily_p124.png
20121123_HeadlineDaily_p116.png
20121125_HeadlineDaily_p26.png
20121125_HeadlineDaily_p27.png
20121127_HeadlineDaily_p61.png
20121128_HeadlineDaily_p76.png
20121206_HeadlineDaily_p132.png
20121214_AppleDaily_陳僖儀帶師妹過聖誕.png
20121215_HeadlineDaily_p74.png
20121218_HeadlineDaily_p69.png
20121220_HeadlineDaily_p70.png
20121231_HeadlineDaily_p40.png
20130104_HeadlineDaily_p92.png
20130114_AppleDaily_陳僖儀新人獎冧莊.png
20130302_HeadlineDaily_p54.png
20130308_HeadlineDaily_p96.png
20130418_am730_p4.png
20130418_am730_p44.png
20130418_am730_p58.png
20130418_HeadlineDaily_p3.png
20130418_HeadlineDaily_p84.png
20130418_HeadlineDaily_p86.png
20130418_SharpDaily_p02.jpg
20130418_SharpDaily_p35.jpg
20130419_AppleDaily_沈震軒夢會故人哭醒陳僖儀遺願詩歌伴上路.png
20130419_HeadlineDaily_p4.png
20130419_HeadlineDaily_p124.png
20130419_SharpDaily_p44.jpg
20130420_AppleDaily_HotCha哭悼好友陳僖儀下月出殯.png
20130420_HeadlineDaily_p64.png
20130421_HeadlineDaily_p24.png
20130423_am730_p50.png
20130423_HeadlineDaily_p68.png
20130423_SharpDaily_p30.jpg
20130424_HeadlineDaily_p77.png
20130424_SharpDaily_p32.jpg
20130425_HeadlineDaily_p78.png
20130426_am730_p108.png
20130505_HeadlineDaily_p24.png
20130507_am730_p62.png
20130507_HeadlineDaily_p64.png
20130507_SharpDaily_p32.jpg
20130511_Apple_Daily_300歌迷傷心送行.png
20130511_HeadlineDaily_p68.png
20130512_HeadlineDaily_p28.png
20130928_AppleDaily_陳僖儀獲追頒新人獎.png
20131126_馮仁昭四圍超: 陳僖儀e-道或復聲 - 蘋果日報 - 娛樂 - 20131126.png

SID LE 提到...

謝啦。但我一直找不到看昔日新聞的網址。是否要登記會員才可看到?

Pacess HO 提到...

不用會員也行。iPad 版的《頭條日報》可任意閱讀過去的日子。

SID LE 提到...

我沒有ipad或平版。桌面機看不到?

Pacess HO 提到...

桌面版本只能瀏覽過去 15 日的報紙。但使點手段就可以看到昔日報章。如:http://paper.stheadline.com/headline/main.aspx?date=2013-04-18&page=&pubkey=&archive=1

SID LE 提到...

謝謝