webb scraping

[mindsleep]

Skulle behöva ett gratis program för att "scrapa" en sida enligt regler som jag sätter upp.

 

Tips önskas.

[.M]

Nu är jag ingen expert på det här med "linux". Men i den världen så hade du hämtat sidan med wget och sen kört grep eller liknande på resultatet för att hitta informationen du söker och sen sparat ned resultatet i en textfil eller liknande. Jag tror samma fungerar på mac.

 

För windows blir lite marginellt knepigare. Då en motsvarighet till wget inte följer med. Dom gånger jag gjort det där så har jag skrivit ihop ett eget program i C#.

 

Men samtliga program du behöver för att kedja ihop wget med grep finns här http://gnuwin32.sourceforge.net/

 

Förväntas du följa länkar och grejjer?

[mindsleep]

Tack för tipset!

 

Nä, inge "följa länk behövs"...jag behöver kunna ange regler som gör att programmet vet vilken data jag är ute efter. Jag har själv skrivit ett sådant program. Men det är bara kod, finns inga sätt att skriva in nya regler osv. Tänkte se om det redan fanns ett färdigt program så jag slipper skriva om mitt eget.