DomainDB behöver serverkraft!

Jeppe
Jag har faktiskt för mig att det här existerade redan innan jspindel blev släppt. Men det kan ju vara så att conio körde den innan han släppte den.

Jeppe
Jag ser att du kämpar hårt med det här! Har du inget annat som du måste hinna med, typ som skola eller jobb?

Bra! Nu börjar det hända saker 8-). Det är dock några saker som jag undrar över. Vad ska jag skicka in i check? Jag har ju lite svårt att gissa ditt randomvärde 8-).

Dessutom, hashen som jag skickar är ju binär, och det är ju alltid lite pyssel med att skicka binärdata, så jag undrar om du kan ändra så att du förutsätter att jag skickar en vhash (och eventuellt check) i hexformat, så att du gör en hex2bin() innan du behandlar datat.

Jag tycker det verkar orimligt att buggen är i JSpindel. Varje domän som genomsöks blir ett eget Work-objekt som har en egen titel, så den SKA inte påverka andra sökningar.

I Freakies fall så har jag faktiskt alibi 8-). Första gången JSpindel började köras var lördag till söndag-natt vilket var den 3-4:e, medans hardcoded.se grejerna var inlagt nästan en vecka innan. Det tyder på att det är en gammal bugg, och troligtvis i någon annan spindel.

Om du lägger till ett klient-fält så kan ju jag börja putta in en liten identifiering där så att vi till slut får reda på vilken klient det är som buggar.

Sedan har jag märkt att jag har en liten "bugg" eller feature om man jämför php-spindeln. JSpindel uppdaterar inte i checkeddomains såvidare inte domänen faktiskt fanns och hade en titel. Jag tyckte det kändes mest rätt, men det får du avgöra. Ska jag även lägga in icke befintliga domäner?

//C

När det handlar om formulär så är det ju TEXT man skickar, inte binärdata. Alltså enkodas binärdata lite olika beroende på hur klienten och servern hanterar det. I php så skiljer man inte på en byte och ett tecken, i Java så är det väldigt stor skillnad (vissa behöver representera ett tecken med fler än en byte).

Jag tycker mig ha provat enkelt enligt beskrivningen som du gett, men det verkar inte fungera. Om du bara kunde ändra till hex2bin på de två fälten så skulle jag vara jätteglad 8-).

Nej du missförstod mig, jag gör inte så idag, så jag måste ändra det. Tyvärr kommer det slöa ner spindeln något enormt, nu när jag måste skicka tillbaks hundratals gånger mer data 8-(.

Jag är också nästan klar med JSpindel som hittar nya domäner. Det fungerar ganska bra nu, förutom att den väldigt snabbt hittar tusentals domäner att kräla, och jag får en enorm backlog att kolla, måste hantera det så man inte åker på out-of-memory-situationer 8-).

Så, om vi får ordning på hämta, så vill jag väldigt gärna ha en spara ganska snart också 8-).

Dessutom, bara så du tänker på det, så måste ju varje person som kör spindlar ha ett eget användarnamn/lösenord så att de har var sin identifikation. Att bara hårdkoda ett lösenord i klienten är ju inte mycket bättre än att köra öppet.

//C

Mjo, men du räknar helt fel, det är det som är problemet 8-).

Nu blir det ju

SELECT * FROM checklist WHERE address=? AND top=?

Hämta svar

INSERT INTO checklist (address,top,checkdate) VALUES (?,?,?) ||
UPDATE checklist SET checkdate=? WHERE id=?

(Hämta svar)

SELECT * FROM checkeddomains WHERE address=? AND top=?

Hämta svar

INSERT INTO checkeddomains (title,address,top,created,updated,clientversion) VALUES (?,?,?,?,?,?) ||
UPDATE checkeddomains SET title=?, updated=?, clientversion=? WHERE id=?

(Hämta svar)

för varje domän. Det tar kanske en tredjedels sekund för varje operation, vilket gör att det tar väl över tio sekunder att skicka 100 poster. Fördelen förut med JSpindel var ju att den bara skickade svar då den hittade något (förstår fortfarande inte vad du vill ha med domännamn som inte finns, men men, det är ditt system 8-) ).

Angående webhämtningen. Tänker du fixa hex2bin? Kan man dessutom få kolla på koden hur du gjort just nu, så jag kan anpassa min implementation därefter?

//C

EDIT: Jag räknade lite. Om det tar 12 sekunder att uppdatera ungefär, innebär det att varje operation tar 12/100/4 sekunder vilket är 0.03 sekunder per operation eftersom det är 400 operationer på 12 sekunder. Inte så dålig prestanda alls, om det inte vore så att jag behöver MYCKET mer data 8-).

Tänkte ge en uppdatering på statusen för c# spindeln.
Den är färdig och fungerar mycket bra. Tyvärr så ville jag göra lite förändringar i databasen så jag gjorde en egen variant istället men bra går det, en spindel sammlade 1 000 000 länkar och 15 000 sidor på 6 timmar. Syvärr så gjorde min dåliga indexering att en insättning i länk tabellen tar en evighet när den har så många poster.
Sen har jag inte riktigt tid att fortsätta och göra den kompatibel med domaindb databasen men om det kommer en webservice eller något annat som abstraherar bort databasen från spindeln så kommer jag nästan säkert släppa en spindel jag med.

Jag har fortfarande problem med ditt clientversionfält 8-(.

 UPDATE command denied to user 'domaindb'@'<mittip>' for column 'clientversion' in table 'checkeddomains'

Var du sugen på att visa källkoden till din getbatch?

Jag är beredd att hjälpa till med php-koden för sparandet om du vill också.

//C

mina ser ut såhära:

Post: 99/100: http://www.fbbj.net

Invalid address 'http://www.fbbj.net'

visst är det rätt?

Jodå det ser rätt ut.

Alla JSpindelanvändare: Nu finns det en ny version ute. Den fixar förhoppningsvis de sista av de buggarna som gjorde att det tog en halv evighet att avsluta programmet.

Det är också den första versionen som har "hunter"-funktionalitet. Just nu görs inget med informationen som hittas, men det finns ett fält som visar hur många (unika) addresser den har hittat på sidorna den har genomsökt.

//C

Du tror inte att det blir lite säkrare om du byter ut md5 mot sha1? Till md5 så finns det ju riktigt stora regnbågstabeller som kan knäcka det där ganska lätt... Och för att förhöja säkerheten ännu mer så blir det nog bättre att din server skickar rand() till conio så att han inte får bestämma det.

Jeppe
Java har stöd för sha1

Visst kan jag ändra, men i det stora hela så har det ingen större betydelse. MD5 och SHA1 är som du vet en hash eller digestalgoritm. Det man listat ut runt MD5 är ju att man lätt utifrån en hash kan få en (eller några stycken) möjliga "lösenord". Även om man tittade i en tabell så skulle det nog vara mycket orimligt att hitta just mitt lösenord som dessutom slutar på samma extradata som man angett.

Den stora hålet i våran säkerhetslösning just nu är ju att man tillåts skicka samma hash om och om igen, då klienten är den som bestämmer extradata (då räcker det ju med att bara avlyssna så är problemet löst).

För att få det riktigt säkert så ska det ju vara servern som genererar extradatat och dessutom ska man blanda in en extra källa, och det är tid.

Har man en hash på lösenord+extradata+tid så blir det genast rejält jobbigt. Sha1 har ju större datamängd så det blir ju "säkrare" av det (såvidare man inte hittar begränsningar i algoritmen).

Fast egentligen, hur många kommer köra spindlar, hur många kommer avlyssna våra spindlar för att föra in falsk data 8-). Låter väldigt orimligt, men det skadar ju inte att vara seriösa 8-).

Sirjeppe: Jag gör inte en update efter min insert. Jag vill vid mitt update-tillfälle (dvs ifall jag har inspekterat en adress som redan fanns i checkeddomains) sätta clientversion också. Är inte det rimligt? Om XSpindel gör en uppdatering på titeln, borde inte XSpindel stå som klient också då? Utifall att någon gör fel så kommer det ju bara bli dumt ifall clientversion betyder spindelversionen som la upp posten för första gången.

Nu ska jag titta på get-källkoden 8-).

//C

Yes!

Där fick jag ihop alla behörigheten mot din getbatch.php.

Ska modda JSpindel att använda den på en gång.

Vänta lite med att lägga dit delete-delen 8-).

//C

EDIT: Ojoj vilken skillnad 8-)

är det Jspindel 1.1.0 som är senaste?

Japp, det stämmer. Det kommer en 1.1.1 om/när Sirjeppe lägger upp min webbtjänst.

Sirjeppe: Nu har jag gjort klart spara-tjänsten. Den finns att ladda ner på http://www.linuxpower.nu/~conio/jspindel/savebatch.txt.

Den går egentligen ut på att klienten skickar lika många rader som poster ska uppdateras. Varje rad innehåller fyra fält som är #-separerade. Varje fält är base64-enkodat (onödigt på domänerna, men jag kör samma på allt), då titeln kan innehålla svårenkodade tecken. Allt data som skickas till servern är UTF-8-format.

Det är ju bara att lägga på säkerhetsinkluden.

Jag har JSpindel redo för test så fort du har lagt upp den 8-)

//C

EDIT: I fallet då man har sökt en domän men inte hittat en titel så är det tredje fältet tomt.

Fälten som skickas är följande (från vänster till höger), address, top, title och clientversion.

EDIT2: Här har du en kul sql till SDC 8-). select clientversion,count(*) from checkeddomains group by clientversion;

EDIT3: Tog bort användarnamn/lösenord från källkoden. Onödigt att google äter upp den 8-).

JSpindel/1.1.1 släppt!
Den stora förbättringen är den kraftigt uppsnabbade hämtningen och sparandet (sparandet går 8-10 gånger snabbare)

Sirjeppe: Lägger du till så att getbatch.php deletar raderna som hämtas så fort som möjligt?

När det gäller säkerheten så skickar klienten en vhash och check precis som vid getbatch, så jag tänkte att det bara var att inkludera den säkerhetsdelen i den sparasidan.

Lycka till med öldrickandet! Men ge fan i ölen du har lovat bort till mig 8-)

//C

EDIT: Fixade en trasig bbcode-tag.

Fler än jag som var på pubben ikväll alltså!

Det fungerar utmärkt här fortfarande.

Det verkar som om din bot får stryk i uppläggningsligan 8-)

Freakie: Vilken tur vissa har då! En annan måste lägga sig snart så man orkar upp tidigt för att jobba (med annat än JSpindel). Nåja, jag tycker det är roligt iaf, även om ett gäng öl inte hade suttit dumt nu 8-).

//C

EDIT: Jag hade tänkt att vänta på att få säga grattis till 300 000 domäner, men det får nog blir nog att stoppa in en tvätt istället. Grattis i förskott!

EDIT2: Nu är vi där! Grattis allihoppa och Sirjeppe i synnerhet!

Jo jag har också märkt av det. Analys påbörjad (har precis kommit hem från jobbet).

//C