Inlägg

Okey, då vet vi!

Fråga till Jeppe eller någon som har koll.

Sitter och kollar igenom lite phpkod och hittar en rad som ser ut så här:
@mysql_select_db()

Min fråga är då, vad har @ för funktion där?
Koden ifråga är daterad runt senare hälften av 2002.
Min gissning är att det är en gammal typ utav felhanterare eller något liknande.

Man tackar, man tackar!
Jo jag förstår att Java och öl inte passar så bra tillsammans, dock så har jag hört att Java och whiskey går bra ihop!

Jeppe
Jag har haft problem med att nå din server i några dagar...

conio
Ja det verkar som att JSpindel är ledsen på mig för att det är jag som fyller år idag och inte den... Kan du inte släppa en ny version (typ skapa ett stavfel och sedan rätta till det) så att den kommer in i en ny version så kanske den blir lite glad också? Och så kan jag bjuda den på lite tårta som blev över!

Fick det här när jag försökte starta JSpindel idag nu när servern är uppe igen.

[18:51:20] Welcome to JSpindel
[18:51:20] Fetching buffer size...
[18:52:45] Failed to get buffer size...Application can't continue working

3st försök med samma resultat.

Det förklarar saken. Då får vi väll vänta tills Jeppe vaknar.

Jeppe
Jag antar att du har stängt ner servern då jag ser det här i JSpindel

[08:10:57] Error saving work: [Save] Server rejected content: <br />
<b>Warning</b>: mysql_connect() [<a href='function.mysql-connect'>function.mysql-connect</a>]: Can't connect to MySQL server on 'weston.mine.nu' (4) in <b>/var/www/domaindb/savebatch.php</b> on line <b>16</b><br />
Can't connect to MySQL server on 'weston.mine.nu' (4)

conio
Jag tar och hårdtestar den nya JSpindeln imorgon när jag kommer hem.
Dock så tror jag inte att buggen som jag skrev om förut berodde på min router. Det är nämligen en PII 266 MMX, 384MB RAM, 2x 100MBit intellkort i min router. Den pallar ganska mycket har jag märkt!

XarpH
Ja det håller jag med om. Skyller på att jag blev bortförd utav ett UFO och drogad innan jag släptes några minuter senare utanför min dörr.

Jeppe
Glömm att jag visade det där. Jag har ingen jävla aning om vad jag höll på mig. Om jag inte visste bättre så hade jag själv trott att jag hade rökt på när jag tänkte att det där skulle se bra ut på en sökmotor!

Jag vågar faktiskt inte svara på om min workqueue låg på 0, kan nämnligen inte hitta det någon stans.

Hehe ok, ja chefen kan bli lite irriterad om man inte prioriterar jobbet när man ska jobba.

Bifogar en bild på hur det ser ut just nu 09:30. Har kört JSpindel sedan 08:38:17.

http://www.posera.nu/bild_dump/JSpindel.gif

Edit: javaw.exe tar 0:00:29 i CPU-tid med en minnesanvändning på 67 116KB.

Conio
Är det inte på natten man ska vara vaken? Det är iaf jag, men det kanske för att man jobbar 12h nattpass!

Har testat JSpindel nu i 17 minuter, och det verkar gå bra.
1762st scannade
1597st existerande
33610st nya

Dock så verkar det som om spindeln har hängt sig efter 7 minuters körning och 1597st besökta domäner... Anledningen till att jag inte vet om den har hängt sig eller bara pysslar med något annat är att i loggen så är det mer än 50 rader med "Saving new adress batch".
Så det kan ju vara så att den hämtar 100st batches, crawlar alla och sedan sparar alla på en gång.

Nu har jag även en förbättringsrapport till JSpindel, och det är att i loggfönstret så borde man kunna markera texten för att kunna skicka med sina små felanmälningar.

Jeppe
Ja lite djup blir det men inte lika djupt som om den skulle följa interna länkar typ 2-3 steg.

Tänk dig en sida som har en splashscreen för att en besökare ska kunna välja svenska, finska, norska, danska och engelska. Sedan har de sin "huvudsida" där de pressenterar sin info och sedan en till undersida med externa länkar. Om man kom åt de länkarna så skulle det öka på det hela ännu mer. Men det är ju hur avanserad man vill göra sin spindel.

jeppe
Hur djupt söker din spindel när du samlar in nya URLs?
Söker du bara på förstasidan eller gräver den lite djupare?

Edit: 500903!!!

Jeppe
Varför frågar du om det är lugnt att du rensar databasen?
Det är ju ditt projekt och vi är bara dina små serverslavar!

Det du hade behövt göra var ju typ att säga: "Jag kommer att tömma databasen för att rensa bort alla döda domäner så att vi kan börja på en ny och frisk databas."

Synd att man sitter på jobbet med spärrade burkar... Det ska faktiskt bli kul att testa de nya skinande glänsande spindlarna!

Inatt så körde jag JSpindel och då dog den efter ca 3600 domäner. Men det kan ju ha varit riktigt stora sidor som den sparade...

Fler än jag som var på pubben ikväll alltså!