Für ein Text-Mining-Projekt suche ich einen Web-Crawler mit dessen Hilfe ich z.B. bei monster.de oder anderen Stellenangebot-Seiten die Stellenanzeigen runterziehen kann. WebSpider und Webreaper hab ich schon erfolglos getestet.
Am Liebsten wäre mir auch wenn sämtliche Daten in einer MySQL-Datenbank gespeichert werden würden. Das würde mir die Weiterverarbeitung deutlich erleichtern.
Habt ihr Tipps/Empfehlungen für solch ein Tool?
Danke für eure Hilfe!
Web-Crawler der in MySQL-DB schreibt...?
#1 Web-Crawler der in MySQL-DB schreibt...?
Gruß
Daniel
__________________________________________________________
Helis: WLtoys V911, T-Rex 450 FBL, Logo10, Eco Piccolo, Blade Nano CP X, Futaba T9CP mit FASST/Spektrum
Daniel
__________________________________________________________
Helis: WLtoys V911, T-Rex 450 FBL, Logo10, Eco Piccolo, Blade Nano CP X, Futaba T9CP mit FASST/Spektrum
#2 Re: Web-Crawler der in MySQL-DB schreibt...?
Such mal nach einem XML Parser für die Sprache Deiner Wahl.
#3 Re: Web-Crawler der in MySQL-DB schreibt...?
Das bringt mich nicht so wirklich weiter ![Embarassed :oops:](./images/smilies/icon_redface.gif)
Hab schon einiges probiert, aber funzt nich so wie ich will.
![Embarassed :oops:](./images/smilies/icon_redface.gif)
Hab schon einiges probiert, aber funzt nich so wie ich will.
Gruß
Daniel
__________________________________________________________
Helis: WLtoys V911, T-Rex 450 FBL, Logo10, Eco Piccolo, Blade Nano CP X, Futaba T9CP mit FASST/Spektrum
Daniel
__________________________________________________________
Helis: WLtoys V911, T-Rex 450 FBL, Logo10, Eco Piccolo, Blade Nano CP X, Futaba T9CP mit FASST/Spektrum
#4 Re: Web-Crawler der in MySQL-DB schreibt...?
Was soll denn da ein XML Parser bringen? Mit 100%ig sauber geschriebenem XHTML mag das ja klappen, aber alles andere wird da höchst wahrscheinlich mehr Exceptions werfen als sinnvolle Ergebnisse...tracer hat geschrieben:Such mal nach einem XML Parser für die Sprache Deiner Wahl.
Ich würd dir empfehlen nach Prüfen der Rechtslage den einfach selbst zu bauen. Mit ner DOMQuery-Implementierung wird das zum Kinderspiel.
Haus / Wohnung auf LED-Leuchtmittel aufrüsten? PN für Beratung und Verkauf ![thumbleft :thumbleft:](./images/smilies/icon_thumright.gif)
Flugort: Zwischen Beaumarais und Felsberg
![thumbleft :thumbleft:](./images/smilies/icon_thumright.gif)
Flugort: Zwischen Beaumarais und Felsberg
#5 Re: Web-Crawler der in MySQL-DB schreibt...?
Sag ich doch[Daniel] hat geschrieben: Mit ner DOMQuery-Implementierung wird das zum Kinderspiel.
![Smile :)](./images/smilies/icon_smile.gif)
Nur, warum selber basteln?
#6 Re: Web-Crawler der in MySQL-DB schreibt...?
Weils im Zweifel schneller geht, als sich da totzusuchen. Also, den Crawler, nicht das DOMQuery.tracer hat geschrieben:Sag ich doch[Daniel] hat geschrieben: Mit ner DOMQuery-Implementierung wird das zum Kinderspiel.
Nur, warum selber basteln?
Haus / Wohnung auf LED-Leuchtmittel aufrüsten? PN für Beratung und Verkauf ![thumbleft :thumbleft:](./images/smilies/icon_thumright.gif)
Flugort: Zwischen Beaumarais und Felsberg
![thumbleft :thumbleft:](./images/smilies/icon_thumright.gif)
Flugort: Zwischen Beaumarais und Felsberg
#7 Re: Web-Crawler der in MySQL-DB schreibt...?
Danke für eure Hilfe.
Das Projekt ist heute mangels Daten-Qualität gestorben...
Somit hab ich den Teil schon mal hinter mir
Jetzt wird ein neues Projekt gesucht
Aber da findet sich schon was ![Wink ;)](./images/smilies/icon_wink.gif)
Das Projekt ist heute mangels Daten-Qualität gestorben...
Somit hab ich den Teil schon mal hinter mir
![Cool 8)](./images/smilies/icon_cool.gif)
Jetzt wird ein neues Projekt gesucht
![Mr. Green :mrgreen:](./images/smilies/icon_mrgreen.gif)
![Wink ;)](./images/smilies/icon_wink.gif)
Gruß
Daniel
__________________________________________________________
Helis: WLtoys V911, T-Rex 450 FBL, Logo10, Eco Piccolo, Blade Nano CP X, Futaba T9CP mit FASST/Spektrum
Daniel
__________________________________________________________
Helis: WLtoys V911, T-Rex 450 FBL, Logo10, Eco Piccolo, Blade Nano CP X, Futaba T9CP mit FASST/Spektrum