architecture challenges of search
TRANSCRIPT
Architecture challenges of search.
Torsten Bøgh Köster (Shopping24) University of Hamburg, November, 14th 2011
Inhalt‣ Ich & mein Brötchengeber‣ Von Totalausfällen und roten Kleidern‣ Von „Pimping“ und „Tweaking“‣ Authentifizierung und Caching‣ Von Flüssen und Klötzen
@tboeghk
‣ Software- and systems- architect‣ Studied at University of Hamburg (class of 2005)‣ Thesis on geo-spatial search‣ 4y experience with Solr / Lucene‣ 5y software architect at Deutscher Ring insurance developing customer and
sales internet / intranet portals‣ 2y system administrator & PHP/Perl hacker
‣ Currently team of 8 Java developers at Shopping24
shopping24 internet group
google legt die messlatte ...
... sehr hoch
suche hat viele facetten
Suche bei shopping24
apache solr
aktuelle sucharchitektur
Eine neue API!
Rahmenbedingungen‣ Jeder Aspekt ein Deployable‣Caching‣ Authentifizierung‣ Vollständige fachliche Kapselung‣ Suchmaschine austauschbar‣ 1 Request <> 1 Portalseite‣ 100ms
Inhalt‣ Ich & mein Brötchengeber‣ Von Totalausfällen und roten Kleidern‣ Von „Pimping“ und „Tweaking“‣ Authentifizierung und Caching‣ Von Flüssen und Klötzen
von totalausfällen und roten kleidern
Precision & Recall
Suchqualität manuell ermitteln
Entwicklungserfolg wird messbar
Zugriffszeitenminimieren
highly effective: data sharding ...
let “sharding“ follow your data ...
... and build separate cores for every client.
Duplicate data as long as access is fast.
andybahn / photocase.com
Authentifizierung vs. Caching ...
... gelöst durch transparente Infrastrukturkomponenten
Datenfluss zur Suchmaschine
Daten werden von Klotz zu Klotz geworfen
Extraktion eines denormalisierten Sortiments
Wozu brauche ich jetzt nochmal einen Search Consultant?
Dedizierte Suchcores - dedizierte ETL-Prozesse
Alle Daten maximal vorverarbeiten
das auge entwickelt mit: umfassende doku muss nicht hässlich sein.
zweifel, ein treuer begleiter: transparenz von anfang an schaffen
Questions? Comments?
‣ Twitter: @tboeghk‣ Github: @tboeghk‣ Email: [email protected]
‣ Web: s24.com‣ Developer (old): developer.smatch.com‣ Developer (new): developer.s24.com
Images: sxc.hu (unless noted otherwise)