Forum Mjukvara Programmering och digitalt skapande Tråd Inlägg

DomainDB behöver serverkraft!

6 7 8 9 10 11 12 13
Skriv svar
Permalänk
Medlem
●
Citat:

Ursprungligen inskrivet av Sirjeppe
Hahahaha... går all ledig tid åt JSpindel eller?

Just nu så kan man nästan tro det 8-).

JSpindel 1.1.2 släppt som fixar "minnesläckan" (råkade oavsiktligt spara varje sida som laddades ner i minnet).

//C

EDIT: Jeppe, du kan väl börja fundera på hur du vill hantera de upphittade domänerna. Är det dags för en tabell till? Ifall en spindel hittar en ny domän som inte är kravlad ska den räknas som en "usersökning", eller ska den läggas sist i unchecked (då kommer det ta en LÅNG tid innan den kravlas).

EDIT2: Jeppe, borde inte du fixa din php-spindel så att den sätter clientversion vid update också? Känns ju fusk om min spindel inte tävlar på lika villkor 8-).

Senast redigerat
Redigera
Citera flera Citera
Permalänk
Medlem
●

Inatt så körde jag JSpindel och då dog den efter ca 3600 domäner. Men det kan ju ha varit riktigt stora sidor som den sparade...

Visa signatur

Jag är konstig. Är du?
----
http://posera.nu/

Redigera
Citera flera Citera
Permalänk
Medlem
●

6000 titlar hittade på 1 h cirkalisa
Bra jobbat...

Visa signatur

Mycket mumbo-jumbo nu känner jag.

Redigera
Citera flera Citera
Permalänk
Medlem
●
Citat:

Ursprungligen inskrivet av Freakie
Inatt så körde jag JSpindel och då dog den efter ca 3600 domäner. Men det kan ju ha varit riktigt stora sidor som den sparade...

Med en heapsize på 64 meg så blir det ungefär 18kilobyte per sida. Det är inte SÅ mycket ifall du frågar mig. Dock ska de ju aldrig sparas i minnet från första början, men det är en annan sak 8-).

JSpindelanvändare! Nu version ute. Den nya 1.1.3 versionen har alla ni som tyckt JSpindel varit lite hemlig väntat på. Nu finns det möjligheten att slå på en extraskärm som visar vilka domäner som genomsöks.

Omstart som vanligt 8-)

//C

Redigera
Citera flera Citera
Permalänk
Medlem
●

conio - min nya v4.28 sätter faktiskt clientversion också... men det är typ ingen som kör min spindel längre av någon "konstig" anledning... hahaha

Jag sitter och väntar på C#-spindeln - ska bli kul att se hur den presterar i jämförelse med JSpindel

Jag håller på med v4.3 också och i den så tänkte jag lagra de domäner som man hittat på andra domäner i userdomains - så prioriteras dom ju före de andra domänerna! Du kan ju pröva det också så får vi se hur det går!

Visa signatur

/Jeppe

Redigera
Citera flera Citera
Permalänk
Medlem
●

Oops, glömde uppdatera versionsnummret på 1.1.3. Ni som startar om får rätt versionsnummer 8-).

Citat:

Ursprungligen inskrivet av Sirjeppe
conio - min nya v4.28 sätter faktiskt clientversion också... men det är typ ingen som kör min spindel längre av någon "konstig" anledning... hahaha

Mja, den sätter bara versionen i fallet INSERT. Sök på "UPDATE checkeddomains SET title" (nedersta mysql-frågan) så ser du att det inte sätts någon version där.

Citat:

Jag sitter och väntar på C#-spindeln - ska bli kul att se hur den presterar i jämförelse med JSpindel

Vad är en sunkigt microsoftspindel mot en tjusigt glänsande Javaspindel 8-). Skämt åsido, det ska faktiskt bli kul. Jag har ju mycket optimeringar som kan göras när det gäller just nätverkskoden.

Citat:

Jag håller på med v4.3 också och i den så tänkte jag lagra de domäner som man hittat på andra domäner i userdomains - så prioriteras dom ju före de andra domänerna! Du kan ju pröva det också så får vi se hur det går!

Jo det kan jag ju göra, men då behöver jag ett nytt skript för att lägga upp på dig (de nya webservicarna gör underverk).

//C

Redigera
Citera flera Citera
Permalänk
Medlem
●

Synd att man sitter på jobbet med spärrade burkar... Det ska faktiskt bli kul att testa de nya skinande glänsande spindlarna!

Visa signatur

Jag är konstig. Är du?
----
http://posera.nu/

Redigera
Citera flera Citera
Permalänk
Medlem
●

Nu fungerar JSpindel utmärkt för mig, jag behöver inte starta om den efter typ 15 000 domäner. Trevligt.

Redigera
Citera flera Citera
Permalänk
Medlem
●
Citat:

Ursprungligen inskrivet av mixdisk
Nu fungerar JSpindel utmärkt för mig, jag behöver inte starta om den efter typ 15 000 domäner. Trevligt.

Glöm inte att testa den nya domänfönstret (jordgloben)!

Det finns fortfarande en liten bugg som gör att sparandet av ett chunk kan misslyckas på grund av att man överbelastat billiga hemma-routrar, vilket ledar till att spindeln automatstoppar.

Det kommer fixas imorgon, men det berör förhoppningsvis inte så många.

Grattis till 450 000 poster!

//C

Redigera
Citera flera Citera
Permalänk
Medlem
●
Citat:

Ursprungligen inskrivet av conio
Glöm inte att testa den nya domänfönstret (jordgloben)!

Det finns fortfarande en liten bugg som gör att sparandet av ett chunk kan misslyckas på grund av att man överbelastat billiga hemma-routrar, vilket ledar till att spindeln automatstoppar.

Det kommer fixas imorgon, men det berör förhoppningsvis inte så många.

Grattis till 450 000 poster!

//C

Jordgloben har jag testat. Mycket trevlig funktion.

Btw så är jag uppe i 52 000 scannade domänder och 27 000 hittade.

Något som jag har lagt märke till är att minnesanvändningen ökar sakta men säkert, min ligger på 85MB just nu.

Redigera
Citera flera Citera
Permalänk
Medlem
●

conio - har lagt upp en saveuserbatch.php nu... här är källkoden:

<?php 

include_once('verifyconnection.php');

if (isset($verified) && $verified == 1) {

	if( !isset($_POST['data']) ) {
		echo "ERROR";
		die();
	}

	$lines = explode("\n",$_POST['data']);

	//Connect to database
	mysql_connect("host","login","password") or die(mysql_error());
	mysql_select_db("domaindb");

	$skup = date("Ymd - H:i");
	$today = date("Ymd");

	foreach($lines as $line) {
		$params = explode("#",$line);

		$address = mysql_real_escape_string( base64_decode($params[0]) );
		$top = mysql_real_escape_string(  base64_decode($params[1]) );

		$sql = mysql_query("SELECT * FROM userdomains WHERE address='$address' AND top='$top'") or die("L1:".mysql_error());
		if (!mysql_num_rows($sql)) {
			$sql = mysql_query("SELECT * FROM checklist WHERE address='$address' AND top='$top'") or die("L2:".mysql_error());
			if (!mysql_num_rows($sql)) {
				mysql_query("INSERT INTO userdomains (address,top) VALUES ('$address','$top')") or die("L3:".mysql_error());
			}
		}
		unset($add);
	}

	echo "OK ".sizeof($lines);

} else {
	echo "FAILED";
}

?>

Nu kan vi med andra ord börja kravla på riktigt ... och inte bara med renderade domäner!

Visa signatur

/Jeppe

Redigera
Citera flera Citera
Permalänk
Medlem
●

om jag gör en sökning på något som inte finns, börjar då systemet leta lite extra efter just det jag sökte på?

Skitkul projekt iaf, inte varje dag man stöter på nån som gjort en egen sökmotor...

Har du någon målsättning med det hela eller är det just nu bara ett kul projekt som har gått väldigt långt? Sprängs systemet om 100 pers försöker använda det samtidigt etc?

conio har pm btw

Redigera
Citera flera Citera
Permalänk
Medlem
●

totoo... om conio uppdaterar JSpindel nu till att använda scriptet jag nyss lade upp så kommer den att börja leta på sidor som heter som det du sökte på och alla domäner som den sidan i sin tur länkar till - vilket innebär att du inom en snar framtid bör kunna få rätt bra träffar

TILL ALLA MEDVERKANDE:
Jag är extremt sugen nu på att starta om hela databasen och bara börja skriva in en domän... typ sweclockers.com och sedan se vad som händer! Har jag GO på den idén? Just nu ligger det så sjukt många skräpdomäner i databasen så det finns inte... Med det nya systemet plockar vi bort extremt många sådana!

Vidare till totoo: Tanken var att skapa en funktionerande sökmotor med rena domäner istället för typ: http://www.domän.co.uk/hulahula/fest.php?id=35 där någon nämner ordet "gurka" som du söker på... Istället bör min sökmotor ge träffar på t.ex. återförsäljare av gurka osv...

Systemet sprängs förmodligen om 100 pers söker just nu haha... servern är laptopen jag sitter på nu (en p3 på 800MHz eller vad det nu är, med 384mb sdram )...

Visa signatur

/Jeppe

Redigera
Citera flera Citera
Permalänk
Medlem
●

men sirjeppe, kan inte du lägga in en checkbox så att man får välja om man vill att den ska söka på det jag sökte på eller ej? Nu kan det ju iofs vara så att det bara är jag som vill ha den, men jag leker just nu t.ex. med en site som jag inte vill att sökmotorer ska hitta... Inte än... Och då vill jag inte att din motor ska göra det heller - Iofs så är väl den inte fullt så populär som google, så det är väl inte så stor skada skedd, men ändå

Oki, blir det en dedikerad server snart på en fin lina dåh? Jag har stora förväntningar på detta nu... Hihi

Redigera
Citera flera Citera
Permalänk
Medlem
●

Det kommer en riktig server varje fall, men linan är rätt snålt tilltagen vad jag vet - så vi kan fortfarande inte vänta oss några under hehe... Men det ska bli intressant att få se vad detta utvecklar sig till

Det är www.vs-hs.com som kommer att sponsra med webserver...

Angående din lilla checkbox så säger jag direkt nej till den hehe... Sorry...

Visa signatur

/Jeppe

Redigera
Citera flera Citera
Permalänk
Medlem
●

Kör på ideén med att starta om databasen. Låter ballt.

Redigera
Citera flera Citera
Permalänk
Medlem
●

Grymt häftigt projekt ! Är jätte gärna med och hjälper !

Något som borde finnas är att det ska finnas en sån där avancerad sökning grej, tror också det ser mycket mer professionellt ut om man inte har det där 489083 domains in the database iofs så är det här inte världens största sökmotor men man vill ju att det ska vara så bra som möjligt.

Något annat som borde ändras är också designen och en ny loga ! Har en del kunskaper inom html css, photoshop och annat så jag sitta och fixa och trixa lite.

Föresten så kan jag tänka mig att en irc kanal kan vara väldigt bra för alla som kör spindeln.

Redigera
Citera flera Citera
Permalänk
Medlem
●

Loggan har jag gjort i Maya och när jag gjorde den så tänkte jag att det lysande blocket var det man letade efter bland de andra blocken som symboliserar databasen... Känner du att du vill designa om sidan får du jättegärna göra ett förslag :)... Kraven är:

Jätteenkelt
Stilrent
Snyggt
Fruktansvärt snabbladdat

Känner du att du har tid och lust att dra igång en irc-kanal får du göra det också - jag använder inte irc nu för tiden så jag kommer tyvärr inte att hänga där så mycket kanske, men det kan ju hända att jag börjar igen om en sån kommer igång! Isåfall måste jag bli op HAHAHA... (Fan vilken flashback jag fick nu... när man frågar om OP)

OBSERVERA den nya adressen till SDC i min signatur... Är snart klar med Spindel "Hunter" v4.3 :)... Sista kollen bara..

Senast redigerat
Visa signatur

/Jeppe

Redigera
Citera flera Citera
Permalänk
Medlem
●

Jeppe
Varför frågar du om det är lugnt att du rensar databasen?
Det är ju ditt projekt och vi är bara dina små serverslavar!

Det du hade behövt göra var ju typ att säga: "Jag kommer att tömma databasen för att rensa bort alla döda domäner så att vi kan börja på en ny och frisk databas."

Visa signatur

Jag är konstig. Är du?
----
http://posera.nu/

Redigera
Citera flera Citera
Permalänk
Medlem
●

Hahaha... Sant... Då verkställer jag nu!

Nej, det kan jag ju inte göra än kom jag på... Vet ju inte om conio har gjort så att den lägger in de nyhittade domänerna i userdomains än...

Så fort han gjort det resetar jag skiten

Visa signatur

/Jeppe

Redigera
Citera flera Citera
Permalänk
Medlem
●

jeppe
Hur djupt söker din spindel när du samlar in nya URLs?
Söker du bara på förstasidan eller gräver den lite djupare?

Edit: 500903!!!

Visa signatur

Jag är konstig. Är du?
----
http://posera.nu/

Redigera
Citera flera Citera
Permalänk
Medlem
●

conio: vet du hur man kan fixa detta?
An error occurred while launching/running the application.

Title: JSpindel
Vendor: Unixdeveloper.net
Category: Launch File Error

Unsupported JNLP version in launch file: 1.5+. Only version 1.0 is supported with this version. Please contact the application vendor to report this problem.

Försöker köra det i linux /=
kör java 1.4.2 och jnlp 1.2

Visa signatur

fooBlog
lighttpd
MPlayer FFmpeg

Redigera
Citera flera Citera
Permalänk
Medlem
●

Nu har jag släppt v4.3 Hunter!

Finns att ladda hem på http://domaindb.mine.nu/sdc

Freakie... Den söker bara på startsidan på domänerna... Men sedan söks ju de hittade domänerna igenom efter nya domäner... så på så sätt blir det ju djupt

[edit]Nu har jag resetat databasen och min spindel jobbar som den ska [/edit]

Conio... lägg in de nyhittade domänerna i uncheckeddomains istället! Det gör jag nu... då prioriteras ju fortfarande sökarens domäner.

Senast redigerat
Visa signatur

/Jeppe

Redigera
Citera flera Citera
Permalänk
Medlem
●

Jeppe
Ja lite djup blir det men inte lika djupt som om den skulle följa interna länkar typ 2-3 steg.

Tänk dig en sida som har en splashscreen för att en besökare ska kunna välja svenska, finska, norska, danska och engelska. Sedan har de sin "huvudsida" där de pressenterar sin info och sedan en till undersida med externa länkar. Om man kom åt de länkarna så skulle det öka på det hela ännu mer. Men det är ju hur avanserad man vill göra sin spindel.

Senast redigerat
Visa signatur

Jag är konstig. Är du?
----
http://posera.nu/

Redigera
Citera flera Citera
Permalänk
Medlem
●

Borde inte versionen 4.3 heta typ 0.4.3 ? Kan tänka mig att det kommer många uppgraderingar.

Redigera
Citera flera Citera
Permalänk
Medlem
●

Har testat JSpindel nu i 17 minuter, och det verkar gå bra.
1762st scannade
1597st existerande
33610st nya

Dock så verkar det som om spindeln har hängt sig efter 7 minuters körning och 1597st besökta domäner... Anledningen till att jag inte vet om den har hängt sig eller bara pysslar med något annat är att i loggen så är det mer än 50 rader med "Saving new adress batch".
Så det kan ju vara så att den hämtar 100st batches, crawlar alla och sedan sparar alla på en gång.

Nu har jag även en förbättringsrapport till JSpindel, och det är att i loggfönstret så borde man kunna markera texten för att kunna skicka med sina små felanmälningar.

Visa signatur

Jag är konstig. Är du?
----
http://posera.nu/

Redigera
Citera flera Citera
Permalänk
Medlem
●

Fan vad alla skriver på natten i den här kanalen. Sover inga? 8-)

Citat:

Ursprungligen inskrivet av mixdisk

Något som jag har lagt märke till är att minnesanvändningen ökar sakta men säkert, min ligger på 85MB just nu.

Ja det stämmer. JSpindel sparar upp till 150 000 hittade adresser i minnet (RAM) så att den inte skickar onödigt med requests till servern. Det gör ju att minnet kommer öka sakteligen (man avstanna). Möjligen ska jag sänka gränsen lite.

Citat:

Ursprungligen inskrivet av Sirjeppe
... om conio uppdaterar JSpindel nu till att använda scriptet jag nyss lade upp....

Fixed!

Grafiker!: Sirjeppe eller vem det nu är/blir. Skulle ni kunna producera en 16x16, 32x32 och 64x64 png-filer av logon (om det nu är kuben) så att jag kan fixa en bättre ikon än kaffemuggen i JSpindel

Citat:

Ursprungligen inskrivet av spaam
conio: vet du hur man kan fixa detta?
An error occurred while launching/running the application.

Unsupported JNLP version in launch file: 1.5+. Only version 1.0 is supported with this version. Please contact the application vendor to report this problem.

Försöker köra det i linux /=
kör java 1.4.2 och jnlp 1.2

Ja det vet jag. JSpindel kräver Java 5. Det vore en bra idé ifall du uppgradera, Java 5 är mycket bättre än de tidigare versionerna (som alltid med ett huvudhopp i Java).

Citat:

Ursprungligen inskrivet av Sirjeppe
Conio... lägg in de nyhittade domänerna i uncheckeddomains istället! Det gör jag nu... då prioriteras ju fortfarande sökarens domäner.
[/B]

Jag kan inte göra något 8-). Jag har ingen MySQL-kod kvar i JSpindel. Jag anropar din tjänst. Vad den nu gör har jag ingen aning om 8-).

Citat:

Ursprungligen inskrivet av Freakie
Jeppe
Ja lite djup blir det men inte lika djupt som om den skulle följa interna länkar typ 2-3 steg.

Om vi ska börja traversera djup på domäner så måste vi också börja läsa robots.txt. Vi ska inte vara en "snäll" medlem på internet 8-).

JSpindelanvändare En ny version släppt! 1.2.0 är den första som lägger upp nya domäner som funnits till centraldatabasen.

Det kommer en något modifierad version ikväll, där jag ska lägga till lite mer robust kod och dessutom hantera svält. Stay tuned 8-).

//C

Redigera
Citera flera Citera
Permalänk
Medlem
●

Conio
Är det inte på natten man ska vara vaken? Det är iaf jag, men det kanske för att man jobbar 12h nattpass!

Visa signatur

Jag är konstig. Är du?
----
http://posera.nu/

Redigera
Citera flera Citera
Permalänk
Medlem
●
Citat:

Ursprungligen inskrivet av Freakie

Nu har jag även en förbättringsrapport till JSpindel, och det är att i loggfönstret så borde man kunna markera texten för att kunna skicka med sina små felanmälningar.

När JSpindel stannade, hade du en workqueue som låg på 0 då?

Jag har sett problemet förut, men jag hade inte tid att fixa det när jag slängde ihop den nya koden innan jobbet.

Jag ska fixa så du kan markera i loggfönstret i nästa version.

//C

Redigera
Citera flera Citera
Permalänk
Medlem
●
Citat:

Ursprungligen inskrivet av conio
När JSpindel stannade, hade du en workqueue som låg på 0 då?

Jag har sett problemet förut, men jag hade inte tid att fixa det när jag slängde ihop den nya koden innan jobbet.

Jag ska fixa så du kan markera i loggfönstret i nästa version.

//C

Jag vågar faktiskt inte svara på om min workqueue låg på 0, kan nämnligen inte hitta det någon stans.

Hehe ok, ja chefen kan bli lite irriterad om man inte prioriterar jobbet när man ska jobba.

Bifogar en bild på hur det ser ut just nu 09:30. Har kört JSpindel sedan 08:38:17.

Edit: javaw.exe tar 0:00:29 i CPU-tid med en minnesanvändning på 67 116KB.

Senast redigerat
Visa signatur

Jag är konstig. Är du?
----
http://posera.nu/

Redigera
Citera flera Citera
6 7 8 9 10 11 12 13
Skriv svar
Senaste nyheterna
Hårdvara
Mjukvara
Övrigt
Nytt i forumet
Datorkomponenter
System
Ljud, bild och kommunikation
Spel och mjukvara