architecture challenges of search

Architecture challenges of search.

Torsten Bøgh Köster (Shopping24) University of Hamburg, November, 14th 2011

Inhalt‣ Ich & mein Brötchengeber‣ Von Totalausfällen und roten Kleidern‣ Von „Pimping“ und „Tweaking“‣ Authentifizierung und Caching‣ Von Flüssen und Klötzen

@tboeghk

‣ Software- and systems- architect‣ Studied at University of Hamburg (class of 2005)‣ Thesis on geo-spatial search‣ 4y experience with Solr / Lucene‣ 5y software architect at Deutscher Ring insurance developing customer and

sales internet / intranet portals‣ 2y system administrator & PHP/Perl hacker

‣ Currently team of 8 Java developers at Shopping24

shopping24 internet group

google legt die messlatte ...

... sehr hoch

suche hat viele facetten

Suche bei shopping24

apache solr

aktuelle sucharchitektur

Eine neue API!

Rahmenbedingungen‣ Jeder Aspekt ein Deployable‣Caching‣ Authentifizierung‣ Vollständige fachliche Kapselung‣ Suchmaschine austauschbar‣ 1 Request <> 1 Portalseite‣ 100ms

Inhalt‣ Ich & mein Brötchengeber‣ Von Totalausfällen und roten Kleidern‣ Von „Pimping“ und „Tweaking“‣ Authentifizierung und Caching‣ Von Flüssen und Klötzen

von totalausfällen und roten kleidern

Precision & Recall

Suchqualität manuell ermitteln

Entwicklungserfolg wird messbar

Zugriffszeitenminimieren

highly effective: data sharding ...

let “sharding“ follow your data ...

... and build separate cores for every client.

Duplicate data as long as access is fast.

andybahn / photocase.com

Authentifizierung vs. Caching ...

... gelöst durch transparente Infrastrukturkomponenten

Datenfluss zur Suchmaschine

Daten werden von Klotz zu Klotz geworfen

Extraktion eines denormalisierten Sortiments

Wozu brauche ich jetzt nochmal einen Search Consultant?

Dedizierte Suchcores - dedizierte ETL-Prozesse

Alle Daten maximal vorverarbeiten

das auge entwickelt mit: umfassende doku muss nicht hässlich sein.

zweifel, ein treuer begleiter: transparenz von anfang an schaffen

Questions? Comments?

‣ Twitter: @tboeghk‣ Github: @tboeghk‣ Email: torsten.koester@s24.com

‣ Web: s24.com‣ Developer (old): developer.smatch.com‣ Developer (new): developer.s24.com

Images: sxc.hu (unless noted otherwise)