DomainDB behöver serverkraft!

Citera flera Citera

2006-06-08 12:32

spaam

Medlem

Plats: Skåne
Registrerad: Jun 2003

●

conio: javaws finns inte som 64bit i suns 5 =/
http://bugs.sun.com/bugdatabase/view_bug.do?bug_id=4626735
Submit Date 22-JAN-2002
att dom inte har tid att fixa det.. det är ju 4år sedan....

Kör som sagt en AMD X2 4400+ och Gentoo Linux 64bit...

Senast redigerat 2006-06-08 12:39

Visa signatur

Citera flera Citera

2006-06-08 12:40

conio

Medlem

Registrerad: Okt 2003

●

Citat:

Ursprungligen inskrivet av spaam
conio: javaws finns inte som 64bit i suns 5 =/
http://bugs.sun.com/bugdatabase/view_bug.do?bug_id=4626735
Submit Date 22-JAN-2002
att dom inte har tid att fixa det.. det är ju 4år sedan....

Kör som sagt en AMD X2 4400+ och Gentoo Linux 64bit...

Surt, riktigt surt. Låter ju märkligt. Även i Linux/64 så kan du väl köra 32-bit binärer också? Isf är väl enda lösningen att ha båda JRE:erna installerade 8-(.

Suboptimalt, jag vet.

//C

Citera flera Citera

2006-06-08 13:01

Sirjeppe

Medlem

Plats: Linköping
Registrerad: Dec 2001

●

Freakie - där där är på tok för plottrigt... Konstiga typsnitt och för mycket färger! :/... Jag hittade knappt sökfältet först.. Det ser för mycket business ut - typ som en färdig mall man hittar på någon sån där sida som man kan skaffa webbplats på... Gillade det inte alls, sorry!

Tyck till ni andra också!

Visa signatur

/Jeppe

Citera flera Citera

2006-06-08 13:03

peter.skitdator.com/firefox/search/

conio

Medlem

Registrerad: Okt 2003

●

En polare till mig har gjort en "sökmotor" till firefox för domaindb.

Angående designen så har jag inget som helst sinne för form och utseende, så jag borde inte uttala mig 8-).

//C

Citera flera Citera

2006-06-08 13:17

spaam

Medlem

Plats: Skåne
Registrerad: Jun 2003

●

Citat:

Ursprungligen inskrivet av conio
Surt, riktigt surt. Låter ju märkligt. Även i Linux/64 så kan du väl köra 32-bit binärer också? Isf är väl enda lösningen att ha båda JRE:erna installerade 8-(.

Suboptimalt, jag vet.

//C

jo.. man kan ju det.. får testa att lägga in en 32bit version senare idag...

Visa signatur

Citera flera Citera

2006-06-08 13:20

Sirjeppe

Medlem

Plats: Linköping
Registrerad: Dec 2001

●

Conio... JSpindel hänger sig hela tiden för mig också när den ska börja ladda upp de nyhittade domänerna till databasen... I min spindel så har jag gjort så att den laddar upp alla nyhittade domäner samtidigt som den laddar upp batchen med de nyhittade titlarna. Den kollar även igenom så att den inte släpper ifrån sig massor av samma domän INNAN den lägger upp dom på servern. Har JSpindel den funktionaliteten också?

OCH... :)... jag satt igår och letade efter hur man kunde lägga till DomainDB till Firefox, men hittade inget! Men nu....

[edit]Min hårrdisk hade börjat låta sådär oroväckande konstigt när jag vaknade imorse igen :/ It's going doooown! Vore gött om vs-hs.com fick upp sin server igen så jag kan få stoppa upp den där! ehm... stoppa in den där... uhrm... stoppa den dit... ! Ni förstår vad jag menar [/edit]

Senast redigerat 2006-06-08 14:24

Visa signatur

/Jeppe

Citera flera Citera

2006-06-08 15:03

spaam

Medlem

Plats: Skåne
Registrerad: Jun 2003

●

conio: Vissa domäner tar rätt lång tid.. varför inte fixa en timeout? . det funkar bra med 32bit java

Visa signatur

Citera flera Citera

2006-06-08 15:37

Endosavian

Medlem

Plats: Linköping
Registrerad: Sep 2004

●

Behöver du fortfarande fler spindlar? Orkade inte plöja igenom hela tråden

Visa signatur

sysl....
Bygg din egen router med pfSense
Citera för svar!

Citera flera Citera

2006-06-08 15:49

conio

Medlem

Registrerad: Okt 2003

●

Citat:

Ursprungligen inskrivet av Sirjeppe
Conio... JSpindel hänger sig hela tiden för mig också när den ska börja ladda upp de nyhittade domänerna till databasen...

Jaja, det är väl bara att erkänna att versionen jag släppte inte är helt bra 8-/. Jag ska hem från jobbet snart, så runt sex finns det förhoppningsvis en ny version ute.

Det är dock lite märkligt att den hänger sig vid uppladdning av nya adresser, men jag tror det kan bero på att din webserver får lite många anrop på en gång. Dock ska jag fixa så jag gör återförsök (och har en timeout).

Citat:

Den kollar även igenom så att den inte släpper ifrån sig massor av samma domän INNAN den lägger upp dom på servern. Har JSpindel den funktionaliteten också?

Ja, JSpindel kommer ihåg de senaste 150 000 domänerna som den hittat. Om den letar på en sida och hittar en dublett så läggs den inte till i den utgående listan (total addresses visar också UNIKA siter hittade).

Citat:

Vissa domäner tar rätt lång tid.. varför inte fixa en timeout?

Jag har en timeout. 15 sekunder på att skapa en serveranslutning och 10 sekunder att för att läsa datat. Anledningen till den höga serveranslutningstimeouten är för att DNS-servrarna ska hinna med. Jag har märkt att JSpindel belastar DNS-servrar ganska hårt 8-).

Om det är längre fördröjningar än så, så beror det nog på problemen med uppladdningen. Ny version utlovas inom kort 8-).

//C

Citera flera Citera

2006-06-08 15:52

Sirjeppe

Medlem

Plats: Linköping
Registrerad: Dec 2001

●

Endosavian... Du är hjärtligt ihjälkommen att hjälpa till! Jag rekommenderar att du kör JSpindel... Den kräver att du har java installerat...

Mer info här:
http://domaindb.mine.nu/sdc

Visa signatur

/Jeppe

Citera flera Citera

2006-06-08 15:57

Endosavian

Medlem

Plats: Linköping
Registrerad: Sep 2004

●

Hjälper gärna till!

Visa signatur

sysl....
Bygg din egen router med pfSense
Citera för svar!

Citera flera Citera

2006-06-08 16:41

spaam

Medlem

Plats: Skåne
Registrerad: Jun 2003

●

conio: går det inte fixa via trådar? tex två st. som gör samma sak. då borde det gå lite snabbare

Visa signatur

Citera flera Citera

2006-06-08 18:42

conio

Medlem

Registrerad: Okt 2003

●

Jeppe: Dog allt nu? Jag kan inte resolva varken weston eller domaindb?

//C

Citera flera Citera

2006-06-08 19:05

totoo

Medlem

Plats: Ludvika
Registrerad: Jul 2002

●

JSpindel > "Saving a new addresses batch" - ska den ta lång tid på sig? Jag kör modellen via browsern och den har stått där i tre minuter nu...
Ah, nu kom den igång igen... Så kom vi till en ny, får se hur lång tid denna tar på sig... 4½ minut... (aja, jag har inte hängt med så bra i tråden, så det kanske är som det ska)
Dump: 29/71/99 (qd, cq, aq)

conio, såg du mitt pm? (det kan vara svårt att se dem med detta forum då rapporteringen typ är kass.)

Citera flera Citera

2006-06-08 19:28

conio

Medlem

Registrerad: Okt 2003

●

SirJeppe: Har du gjort något med http://weston.mine.nu/domaindb/saveuserbatch.php. Det är väl den som ska användas för att lägga upp nya adresser? Den bara hänger sig för mig (JSpindel) och jag får aldrig något svar.

Totoo: Jag såg PM:et, ska svara på det efter att jag ätit.

//C

Citera flera Citera

2006-06-08 20:13

Freakie

Medlem

Plats: Stockholm
Registrerad: Sep 2002

●

Citat:

Ursprungligen inskrivet av Sirjeppe
Freakie - där där är på tok för plottrigt... Konstiga typsnitt och för mycket färger! :/... Jag hittade knappt sökfältet först.. Det ser för mycket business ut - typ som en färdig mall man hittar på någon sån där sida som man kan skaffa webbplats på... Gillade det inte alls, sorry!

Tyck till ni andra också!

Jeppe
Glömm att jag visade det där. Jag har ingen jävla aning om vad jag höll på mig. Om jag inte visste bättre så hade jag själv trott att jag hade rökt på när jag tänkte att det där skulle se bra ut på en sökmotor!

Visa signatur

Jag är konstig. Är du?
----
http://posera.nu/

Citera flera Citera

2006-06-08 20:17

xarph

Medlem

Plats: Trans
Registrerad: Nov 2005

●

Tycker ni ska köra lite mer Google style på designen...

Visa signatur

iPhone

Citera flera Citera

2006-06-08 20:21

Freakie

Medlem

Plats: Stockholm
Registrerad: Sep 2002

●

XarpH
Ja det håller jag med om. Skyller på att jag blev bortförd utav ett UFO och drogad innan jag släptes några minuter senare utanför min dörr.

Visa signatur

Jag är konstig. Är du?
----
http://posera.nu/

Citera flera Citera

2006-06-08 20:24

xarph

Medlem

Plats: Trans
Registrerad: Nov 2005

●

Citat:

Ursprungligen inskrivet av Freakie
XarpH
Ja det håller jag med om. Skyller på att jag blev bortförd utav ett UFO och drogad innan jag släptes några minuter senare utanför min dörr.

Haha, alltså allvarligt talat.. inte för att vara oschysst eller så.. men den såg riktigt förjävlig ut till en sökmotor sida! När han t.o.m bad om en simpel och stilren design.. haha

Vi förlåter dig!

Visa signatur

iPhone

Citera flera Citera

2006-06-08 20:29

Sirjeppe

Medlem

Plats: Linköping
Registrerad: Dec 2001

●

Conio... har du fortfarande problem?

Visa signatur

/Jeppe

Citera flera Citera

2006-06-08 20:42

conio

Medlem

Registrerad: Okt 2003

●

Citat:

Ursprungligen inskrivet av Sirjeppe
Conio... har du fortfarande problem?

Ja, jag har fortfarande rejäla problem med saveuserbatch.php . Har du gjort några förändringar i den?

//C

Citera flera Citera

2006-06-08 20:44

Sirjeppe

Medlem

Plats: Linköping
Registrerad: Dec 2001

●

Här är källkoden:

<?php 

include_once('verifyconnection.php');

if (isset($verified) && $verified == 1) {

	if( !isset($_POST['data']) ) {
		echo "ERROR";
		die();
	}

	$lines = explode("\n",$_POST['data']);

	//Connect to database
	mysql_connect("host","login","password") or die(mysql_error());
	mysql_select_db("domaindb");

	$skup = date("Ymd - H:i");
	$today = date("Ymd");

	foreach($lines as $line) {
		$params = explode("#",$line);

		$address = mysql_real_escape_string( base64_decode($params[0]) );
		$top = mysql_real_escape_string(  base64_decode($params[1]) );

		$sql = mysql_query("SELECT * FROM uncheckeddomains WHERE address='$address' AND top='$top'") or die("L1:".mysql_error());
		if (!mysql_num_rows($sql)) {
			$sql = mysql_query("SELECT * FROM checklist WHERE address='$address' AND top='$top'") or die("L2:".mysql_error());
			if (!mysql_num_rows($sql)) {
				mysql_query("INSERT INTO uncheckeddomains (address,top) VALUES ('$address','$top')") or die("L3:".mysql_error());
			}
		}
		unset($add);
	}

	echo "OK ".sizeof($lines);

} else {
	echo "FAILED";
}

?>

Visa signatur

/Jeppe

Citera flera Citera

2006-06-08 21:13

conio

Medlem

Registrerad: Okt 2003

●

SirJeppe: Koden ser ju ut att stämma. Det enda jag funderar över är ifall du har index på address och top i checklist och uncheckdomains?

Det skulle kunna förklara varför den hänger (det är egentligen för att det tar en jävla tid)

EDIT: Jag ser att uncheckeddomains inte har ett index! Det gör att den behöver söka igenom alla poster för att hitta huvudsqluttrycket, vilket gör att operationen bara kommer gå långsammare och långsammare. Fixa index fort! 8-)

//C

Senast redigerat 2006-06-08 21:22

Citera flera Citera

2006-06-08 21:26

Sirjeppe

Medlem

Plats: Linköping
Registrerad: Dec 2001

●

I'm on it!

DOH! Finns inte java web start 1.5.0+ för Ubuntu?? Hur installerar jag det?

Senast redigerat 2006-06-08 21:37

Visa signatur

/Jeppe

Citera flera Citera

2006-06-08 21:38

xarph

Medlem

Plats: Trans
Registrerad: Nov 2005

●

Ubuntu är väl inget server os?

Kör Debian!

btw, har letat igenom 34k domän på ~2-3h med senaste versionen av JSpindel.

Nu 4 minuter senare ligger den på 42k, verkade öka massor nu...

Visa signatur

iPhone

Citera flera Citera

2006-06-08 21:41

Sirjeppe

Medlem

Plats: Linköping
Registrerad: Dec 2001

●

Ubuntu bygger på debian punkt punkt punkt... har jag för mig

Visa signatur

/Jeppe

Citera flera Citera

2006-06-08 21:44

conio

Medlem

Registrerad: Okt 2003

●

Citat:

Ursprungligen inskrivet av Sirjeppe
I'm on it!

DOH! Finns inte java web start 1.5.0+ för Ubuntu?? Hur installerar jag det?

Tack för indexet, det gjorde underverk! 8-)

Ubuntu är baserat på Debian. Det har varit massa tjafs om Java-licensen (den har varit onödigt restriktiv förut, det håller jag med om, opensource däremot, njaaa). Enklaste är nog att gå till http://java.sun.com och ladda ner den där.

JSpindelanvändare: Äntligen en ny version. Nu har 1.2.1 sett ljuset. Avsevärda förbättringar i kommunikationen mot servern. Nytt fönster som visar upphittade domäner. Loggfönstret går det att markera i nu. Dessutom gömmer sig säkert lite andra smått och gott-funktioner i applikationen.

//C

Citera flera Citera

2006-06-08 21:57

Sirjeppe

Medlem

Plats: Linköping
Registrerad: Dec 2001

●

Nope, funkar inte :/... Jag kan inte få igång JSpindel buuhuuu!

Visa signatur

/Jeppe

Citera flera Citera

2006-06-08 21:57

Freakie

Medlem

Plats: Stockholm
Registrerad: Sep 2002

●

conio
Jag tar och hårdtestar den nya JSpindeln imorgon när jag kommer hem.
Dock så tror jag inte att buggen som jag skrev om förut berodde på min router. Det är nämligen en PII 266 MMX, 384MB RAM, 2x 100MBit intellkort i min router. Den pallar ganska mycket har jag märkt!

Visa signatur

Jag är konstig. Är du?
----
http://posera.nu/