Kostenloser Kleinanzeigenmarkt für RC-Modellbauer

[skorpion101173]

hab ja geschrieben, dass es sein kann, dass das projekt noch in der testphase abgedreht wird.

Was nimmst Du zum spidern?

hab sphider genommen. ist aber meiner meinung nach egal welches skript. hab einige probiert. alle funktionieren nach dem selben prinzip. eine socket verbindung wird zum server aufgemacht, seite angefordert, ausgelesen und gespeichert.
und schon bei der socketverbindung stößt man auf probleme. mein provider läßt das z.b. nicht zu. jetzt hab ich fürs spidern einen eigenen rechner bei mir in der firma aufgestellt, der die datenbank aufbaut. auf dem websace ist das suchskript gelaufen, das auf die db auf dem externen rechner zugreift. ist alles keine top lösung, nur wenn es gelaufen wäre so wie ich mir das vorgestellt habe, hätte ich überlegt, mir beim provider einen eigenen server zu nehmen. so aber natürlich nicht.

[peter.stegemann]

und schon bei der socketverbindung stößt man auf probleme. mein provider läßt das z.b. nicht zu.

??? Was provided der Provider denn, wenn man keine Verbindungen ins Netz aufmachen darf?

[skorpion101173]

und schon bei der socketverbindung stößt man auf probleme. mein provider läßt das z.b. nicht zu.

??? Was provided der Provider denn, wenn man keine Verbindungen ins Netz aufmachen darf?

da gehts nicht darum, dass er server beim provider keine EINGEHENDEN anfragen erlaubt, sondern AUSGEHENDE über eine socketverbindung. sprich, nicht dein lokaler browser holt sich die seite, sondern der server bzw. das skript macht eine ausgehende verbindung zu einem anderen server auf. und das ist bei vielen seiten aus sicherheitsgründen nicht erlaubt.

[tracer]

Ich habe mit aspseek einige 100.000 Seiten gut in ne Such-DB packen können ...

[tracer]

und das ist bei vielen seiten aus sicherheitsgründen nicht erlaubt.

[ ] Du hast http verstanden

[skorpion101173]

und das ist bei vielen seiten aus sicherheitsgründen nicht erlaubt.

[ ] Du hast http verstanden

das hab ich nicht verstanden
diese aussage stammt nicht von mir, sondern nach meiner anfrage an den provider. sind ja nicht alle domains (nicht seiten). aber die meisten die ich probiert habe.

Ich habe mit aspseek einige 100.000 Seiten gut in ne Such-DB packen können ...

und wenn ich das richtig interpretiere, ist das ein asp ding. das läuft aber linux nicht wirklich gut
ps: edit: so wie es ausschaut, ist es doch nicht asp

[peter.stegemann]

Hmja, ich sehe da auch etwas Klaerungsbedarf. Und auch einen Provider, der keine Verbindungen zu mir zulaesst, wuerde ich auf den Mond schiessen.

Also, nochmal kurz zusammengefasst: Um Webcontent zu holen, macht dein Rechner eine Verbindung zum fremden Server auf, schickt ihm die Anfrage und der Server antwortet ueber die bestehende Verbindung. Wuerde der Provider das blockieren, waere auch fuer deinen Browser essig.

Erklaere doch nochmal genauer, was du meinst. Vieleicht koennen wir das alles etwas aufklaeren...

[tracer]

und wenn ich das richtig interpretiere, ist das ein asp ding. das läuft aber linux nicht wirklich gut

Nein.

http://www.aspseek.org/

Und, ich bin käuflich ...

[peter.stegemann]

Und, ich bin käuflich ...

Ich nicht. Aber du kannst mich mieten.

[tracer]

Wuerde der Provider das blockieren, waere auch fuer deinen Browser essig.

Ein Spider läuft auf einem Server.
Und über local socks kommt er nunmal nicht über 127.0.0.1 hinaus.

[tracer]

Und, ich bin käuflich ...

Ich nicht. Aber du kannst mich mieten.

Für mich gilt beides, reine Preisfrage.

Soll ich jemanden für Dich niederstrecken?

[skorpion101173]

Hmja, ich sehe da auch etwas Klaerungsbedarf. Und auch einen Provider, der keine Verbindungen zu mir zulaesst, wuerde ich auf den Mond schiessen.

Also, nochmal kurz zusammengefasst: Um Webcontent zu holen, macht dein Rechner eine Verbindung zum fremden Server auf, schickt ihm die Anfrage und der Server antwortet ueber die bestehende Verbindung. Wuerde der Provider das blockieren, waere auch fuer deinen Browser essig.

Erklaere doch nochmal genauer, was du meinst. Vieleicht koennen wir das alles etwas aufklaeren...

also. das php skript läuft auf einem webserver. dieses skript baut eine socket-verbindung (fsockopen) zu einer anderen domain - und damit zu einem anderen server der bei einem anderen provider steht - auf. und genau diese verbindung zu einigen domains (oder auch servern) blockt mein provider. mit provider mein ich die firma, bei der mein server (und damit auch meine internetseiten) steht. also kein isp.
und die aussage "käuflich" mieten verstehe ich jetzt noch immer nicht ganz, dürfte aber auch nicht so wichtig sein.

[peter.stegemann]

Soll ich jemanden für Dich niederstrecken?

Die Liste waere verdammt lange... viel Arbeit fuer dich und viel zu teuer fuer mich :-/

Fuehle mich heute wieder wie auf dem Planeten der versklavten Programmierer...

[skorpion101173]

Soll ich jemanden für Dich niederstrecken?

nein danke. nicht notwendig.

[peter.stegemann]

Hmahsoja, wenn das Dingens auf dem Server laeuft, ist das was Anderes. Da surft ja auch keiner - aber mit so einem eingesperrten Server wuerde ich nicht gluecklich, auch wenn die Motivation des Betreibers durchaus verstehe.