Builder.cz - Informacni server o programovani

Odběr fotomagazínu

Fotografický magazín "iZIN IDIF" každý týden ve Vašem e-mailu.
Co nového ve světě fotografie!

 

Zadejte Vaši e-mailovou adresu:

Kamarád fotí rád?

Přihlas ho k odběru fotomagazínu!

 

Zadejte e-mailovou adresu kamaráda:

Soutěž

Sponzorem soutěže je:

IDIF

 

Kde se koná výstava fotografií Luďka Vojtěchovského?

V dnešní soutěži hrajeme o:



XML feedy

Seznam témat     Nová odpověď

Přihlásit se     Registrace     Zapomenuté heslo

Re: XML feedy

Autor: jirka.kosek

22:12:43 10.10.2011

-----BEGIN PGP SIGNED MESSAGE-----
Hash: SHA1

On 10.10.2011 18:44, judovana wrote:

> Mno mam vzpominku najendu oblibenou sablonu - vstup xml cca 5mb,
> vystup html ale sablona docela velika a slzoita. Trvalo to na 1ghz
> j1core 2gb ram radove minutu ( a to to jeste
> neswapovalo...)

Samozřejmě záleŞí na tom, jak je šablona napsaná a jaký pouŞíváte XSLT
procesor.

>> Navíc XSLT 3.0 podporuje proudovÊ zpracování, kdy se celý
>> dokumet nemusí vůbec načítat do paměti. Saxon9 něco z toho uŞ
>> umĂ­.
>>
> No ot sem nevedel:) Ale moc se mi tomu neche verit, neb existuji
> xpath funkce ktere museji kouknout na "cely strom" pak bud xslt 3
> proudove prochazi porad dokola nebo to stejne nacte cele ne?

Streamuje se samozřejmě jen pokud to jde. V transformaci, která se
bude streamovat nejde pouŞívat některÊ konstrukce.

- --
- ------------------------------------------------------------------
Jirka Kosek e-mail: jirka@kosek.cz http://www.kosek.cz
- ------------------------------------------------------------------
Profesionální školení a poradenství v oblasti technologií XML.
Podrobný přehled školení http://xmlguru.cz/skoleni/
- ------------------------------------------------------------------
http://docbook.cz Stránky o dokumentačním formátu DocBook
http://xmlguru.cz Blog mostly about XML for English readers
- ------------------------------------------------------------------
Příspěvek zaslán emailem

Citovat příspěvek

 

Re: XML feedy

Autor: judovana

18:44:44 10.10.2011

> >
> > Ovsem xslt transformaci bych nad tim delat
> nechtel....
>
> Proč ne XSLT? Těch pár MB by se zpracovalo
> rozhodně dříve než minutu.
>

Mno mam vzpominku najendu oblibenou sablonu - vstup xml cca 5mb, vystup html ale sablona docela velika a slzoita.
Trvalo to na 1ghz j1core 2gb ram radove minutu ( a to to jeste neswapovalo...)

> Navíc XSLT 3.0 podporuje proudové zpracování, kdy
> se celý dokumet
> nemusí vůbec načítat do paměti. Saxon9 něco z toho
> už umí.
>
No ot sem nevedel:) Ale moc se mi tomu neche verit, neb existuji xpath funkce ktere museji kouknout na "cely strom" pak bud xslt 3 proudove prochazi porad dokola nebo to stejne nacte cele ne?

Citovat příspěvek

 

Re: XML feedy

Autor: jirka.kosek

15:16:18 10.10.2011

-----BEGIN PGP SIGNED MESSAGE-----
Hash: SHA1

On 7.10.2011 20:21, judovana wrote:

> Udelal jsem maly pokus. Vygeneroval jsem si xml soubor o cca 250k
> radcich, na kazdem radku 3x3 eleemnty (ve dvou urovnich) (cca
> 12mb). Vytizil sem procesor a sebral trochu ram a poslal 3 kopie
> toho souboru (aby se zpracovavaly ve 3 vlaknech zaraz) do axiomu
> (posledni apache parser). Nad kazdym atributem a obsahem elementu
> jsem udelal nejakou operaci (ale ne I/O) za minutu byly vsecky tri
> xml zparsovany....
>
> Takze pokud ten soubor nezpracovavate co tri minuty, nebo neni
> nejak extremene slozity ci se nad nim nedelaji nejake hruzny, tak
> bych rekl ze se nemate ceho bat. Rek bych ze ani bandwith ani vykon
> neutrpi.
>
> Ovsem xslt transformaci bych nad tim delat nechtel....

Proč ne XSLT? Těch pár MB by se zpracovalo rozhodně dříve než minutu.

Navíc XSLT 3.0 podporuje proudové zpracování, kdy se celý dokumet
nemusí vůbec načítat do paměti. Saxon9 něco z toho už umí.

- --
- ------------------------------------------------------------------
Jirka Kosek e-mail: jirka@kosek.cz http://www.kosek.cz
- ------------------------------------------------------------------
Profesionální školení a poradenství v oblasti technologií XML.
Podrobný přehled školení http://xmlguru.cz/skoleni/
- ------------------------------------------------------------------
http://docbook.cz Stránky o dokumentačním formátu DocBook
http://xmlguru.cz Blog mostly about XML for English readers
- ------------------------------------------------------------------
Příspěvek zaslán emailem

Citovat příspěvek

 

Re: XML feedy

Autor: jirka.kosek

15:09:15 10.10.2011

-----BEGIN PGP SIGNED MESSAGE-----
Hash: SHA1

On 5.10.2011 16:04, stoker303 wrote:

> předem upozorňuji, že jsem amatérem, tak se omlouvám, pokud můj
> dotaz bude působit laickým dojmem. Můj problém spočívá v xml feedu,
> který bych chtěl (respektive) programátor, který tvoří můj web,
> použít pro zobrazování kurzové nabídky jedné sázkové kanceláře. XML
> feed obsahuje ale kolem 200 000 řádků a problémem tedy je jeho
> velikost při nahrávání na server. Proto jsem se chtěl zeptat zda
> existuje nějaký způsob, jak se vyvarovat velkému zatížení serveru,
> při tomto nahrávání tohoto XMLka respektive zda existuje nějaký
> způsob jak ono XMLko zpracovat a vyvarovat se velkému
> zatížení.Mockrát děkuji všem za reakce a snad i rady..

Jestli dobře počítám, má XML dokument velikost desítek MB. Pokud to
budete číst nějakým sekvenčním parserem (XMLReader, SAX, StAX) je
samotné načtení XML otázka jednotek sekund.

- --
- ------------------------------------------------------------------
Jirka Kosek e-mail: jirka@kosek.cz http://www.kosek.cz
- ------------------------------------------------------------------
Profesionální školení a poradenství v oblasti technologií XML.
Podrobný přehled školení http://xmlguru.cz/skoleni/
- ------------------------------------------------------------------
http://docbook.cz Stránky o dokumentačním formátu DocBook
http://xmlguru.cz Blog mostly about XML for English readers
- ------------------------------------------------------------------
Příspěvek zaslán emailem

Citovat příspěvek

 

Re: XML feedy

Autor: Ja On

13:00:14 10.10.2011

1) změnit programátora
2) skutečně je problém jeho velikost při nahrávání na server ? - Server nemá dost místa na disku ? Nebo je velké zatížení CPU ? Nebo paměti ?
3) sekvenční čtení/vyhodnocování (v .NET je XmlReader).

Citovat příspěvek

 

Re: XML feedy

Autor: judovana

20:21:51 07.10.2011

Udelal jsem maly pokus. Vygeneroval jsem si xml soubor o cca 250k radcich, na kazdem radku 3x3 eleemnty (ve dvou urovnich) (cca 12mb). Vytizil sem procesor a sebral trochu ram a poslal 3 kopie toho souboru (aby se zpracovavaly ve 3 vlaknech zaraz) do axiomu (posledni apache parser). Nad kazdym atributem a obsahem elementu jsem udelal nejakou operaci (ale ne I/O) za minutu byly vsecky tri xml zparsovany....

Takze pokud ten soubor nezpracovavate co tri minuty, nebo neni nejak extremene slozity ci se nad nim nedelaji nejake hruzny, tak bych rekl ze se nemate ceho bat. Rek bych ze ani bandwith ani vykon neutrpi.

Ovsem xslt transformaci bych nad tim delat nechtel....

celkem mam 3gb ram, 1gh centrino duo (obycejnej dedecek notebook)

Citovat příspěvek

 

XML feedy

Autor: stoker303

16:04:55 05.10.2011

Dobrý den,
předem upozorňuji, že jsem amatérem, tak se omlouvám, pokud můj dotaz bude působit laickým dojmem. Můj problém spočívá v xml feedu, který bych chtěl (respektive) programátor, který tvoří můj web, použít pro zobrazování kurzové nabídky jedné sázkové kanceláře. XML feed obsahuje ale kolem 200 000 řádků a problémem tedy je jeho velikost při nahrávání na server. Proto jsem se chtěl zeptat zda existuje nějaký způsob, jak se vyvarovat velkému zatížení serveru, při tomto nahrávání tohoto XMLka respektive zda existuje nějaký způsob jak ono XMLko zpracovat a vyvarovat se velkému zatížení.Mockrát děkuji všem za reakce a snad i rady..

Citovat příspěvek

 

 

 

Přihlášení k mému účtu

Uživatelské jméno:

Heslo: