Entwicklung von Ausleseelektronik für das Flüssig-Argon-Kalorimeter des ATLAS-
Detektors am Super-LHC
Andy Kielburg-Jeka, Andreas Glatte, Andreas Meyer, Arno Straessner
TU Dresden, Institut für Kern- und Teilchenphysik
DPG Frühjahrstagung Bonn, 15. - 19. März 2010
Inhalt
• ALTAS Detektor
• Ausleseelektronik des Flüssig-Argon-Kalorimeters (LAr)
• Datenverarbeitung am ATLAS Detektor
• Super LHC (sLHC) + Herausforderungen
• Modifizierte Auslesekette für den Super LHC (sLHC)
• Status
• Weiteres Vorgehen
• Zusammenfassung
Entwicklung von Ausleseelektronik für das Flüssig-Argon-Kalorimeter des ATLAS-Detektors am Super-LHC – Andy Kielburg-Jeka 2 / 13
ATLAS Detektor
Entwicklung von Ausleseelektronik für das Flüssig-Argon-Kalorimeter des ATLAS-Detektors am Super-LHC – Andy Kielburg-Jeka
• dient dem Nachweis der pp-Reaktionsprodukte• besteht aus unterschiedlichen Sub-Detektoren
• 4 hoch auflösende LAr Kalorimeter• 182486 Auslese-Kanäle• 40MHz Proton-Proton Kollisionsrate
• Front-End und Trigger-Elektronik- auf dem Detektor, strahlenhart- mehrere FEBs in einem Front-End-Crate
• Back-End und zusätzliche Trigger Elektronik- räumlich getrennt vom Detektor
3 / 13
Derzeitige Ausleseelektronik des LAr Kalorimeters
Entwicklung von Ausleseelektronik für das Flüssig-Argon-Kalorimeter des ATLAS-Detektors am Super-LHC – Andy Kielburg-Jeka
• 1524 Front-End-Boards (FEB) - bis zu 128 Kanäle- Vorverstärkung, Pulsform, Zwischenspeicherung, Digitalisierung
• FEBs sind über 1600 optische Leitungen mit Back-End-Elektronik verbunden
• 192 Read-Out-Driver Boards (ROD)- digitale Filterung (Energie, Zeit)
• 800 optische Verbindungen zu DAQ PCs
• 68 Read-Out-Subsystem PCs (ROS)- DAQ und High-Level-Trigger Buffer
4 / 13
Datenverarbeitung am ATLAS Detektor
• Level-2-Trigger: fordert ROI-Daten an @ ~75kHz (nur einige ROS involviert)• Event-Builder: fordert alle Daten eines Ereignisses an @ ~3kHz (alle ROS involviert)
• Datenbank: Daten für Analyse gespeichert @ ~200Hz (~300MByte/s)Entwicklung von Ausleseelektronik für das Flüssig-Argon-Kalorimeter des ATLAS-Detektors am Super-LHC – Andy Kielburg-Jeka 5 / 13
• FEB: Datengenerierung @ 40MHz- Datenaufbereitung für Level-1-Trigger- ursprüngliche Datenmenge reduziert
• Level-1-Trigger Entscheidung < 2.5ms• FEB ROD: Datenübertragung @ ~75kHz
- 1.6GBit/s optisch
• ROD: Digitales Filtern• ROD ROS: Datenübertragung @ ~75kHz
• ROS: Datenspeicherung für High-Level-Trigger
Super LHC (sLHC) + Herausforderungen
• Ausbau des LHC für sehr hohe Luminosität > 1034 cm-2 s-1
• kontinuierlich durch mehrere Upgrade/Shutdown Phasen erreicht
• derzeitiges Szenario:- nominelle Luminosität von 1034 cm-2 s-1 in 2016 erreicht- Langer Shutdown 2020: neue Kollimatoren, evtl. Fokussierungsmagnete (Triplett)- maximale Luminosität ~ 3*1034 cm-2 s-1 > 2020
• ursprünglicher Shutdown 2017 (Strahlenbelastung)• neueste Prognose: maximale Strahlenbelastung erst ~2020 erreicht• Ersetzen der Elektronik des Kalorimeters:
- verbesserte Strahlenresistenz- verbesserter digitaler Trigger- Alterung der Elektronik
• Herausforderungen:- (s)LHC für Betrieb bis 2030 rüsten- Optimierung der Shutdown Phasen (Zeit, Wiederhochfahren, Re-Justierung, usw.)- Abwägen zwischen funktionierendem System und Erreichung max. Luminosität
Entwicklung von Ausleseelektronik für das Flüssig-Argon-Kalorimeter des ATLAS-Detektors am Super-LHC – Andy Kielburg-Jeka 6 / 13
Modifizierte Auslesekette für den sLHC
• Idee für zukünftige Auslesekette:
• 1 Front-End-Crate enthält 14 FEBs
• Übertragung der gesamten Rohdaten an ROD (volle Auflösung)- 1 FEB: 128 K. * 40MHz * 16bits * 10/8 = ~ 100Gbit/s ( heute: 1.6 Gbit/s)- 1 ROD: 14 * 100Gbit/s = ~ 1.4Tbit/s ( heute: 8 * 1.6Gbit/s = ~ 13 Gbit/s)
• erweiterte Funktionalität der RODs:• Berechnung der Level-1 Trigger Summe digital• Vorteil: feinere Granularität• Bestimmung Signalzeit und Zuordnung zu Strahlkreuzung (bunch-crossing)• zusätzlich bisherige Energieberechnung• FPGA: hochgradig parallele Datenverarbeitung möglich
Entwicklung von Ausleseelektronik für das Flüssig-Argon-Kalorimeter des ATLAS-Detektors am Super-LHC – Andy Kielburg-Jeka 7 / 13
Modifizierte Auslesekette für den sLHC (2)
• Integration von ROD und ROS in einem System (ATCA)• ROS genauso wie ROD als Modul ausgeführt (heute: ~ 150 separate PCs)
• ATCA: Advanced Telecommunications Computing Architecture- Erprobter Standard aus Telekommunikationsindustrie- Nutzung kommerziell verfügbarer Komponenten
Entwicklung von Ausleseelektronik für das Flüssig-Argon-Kalorimeter des ATLAS-Detektors am Super-LHC – Andy Kielburg-Jeka
• ROS: ist auch in neuem Szenario der High-Level-Trigger Buffer- Verwendung von Standard-Komponenten (ATCA, CPU, RAM, …)- Verwendung von Standard-Protokollen für Datenübertragung- Versuch eines vereinfachten Daten-Handlings im neuen ROS System- Erzeugung eines Dateisystems im RAM des ROS Moduls- Speicherung der Event-Daten als Dateien (inkl. Zeitstempel…)
• Idee für zukünftige Auslesekette:
8 / 13
Modifizierte Auslesekette für den sLHC: ROS
Entwicklung von Ausleseelektronik für das Flüssig-Argon-Kalorimeter des ATLAS-Detektors am Super-LHC – Andy Kielburg-Jeka
• Idee für zukünftiges ROS System (mit Standard-Komponenten)- Prototyp eines ROS Systems (später evtl. CPU Board in ATCA Format)
Xeon
X5520 (Server)
Xeon
10600
12800
MB/s/Richtung
12800
2 Port NIC3800
10600DDR3
DDR3
DDR3
DDR3
DDR3
DDR3
2 Port NIC
2 Port NIC
2 Port NIC
2x 10GBit Ethernet Verbindungen zu High-Level-Trigger (LVL2, EVB)
• 6x 10GBit Ethernet Verbindungen zu 6 RODs
• 16 Lanes konfiguriert als 2x PCIe2.0x8
• 16 Lanes konfiguriert als 2x PCIe2.0x8
• 4 Lanes PCIe1.0
• Mainboard Intel S5520HC• 2x Xeon5550 (2.66GHz, 6.4GT/s, 4 Kerne)• 24GB RAM• 4x Myricom 10 GbE Dual-Port-Netzwerkkarte
9 / 13
Status: Testumgebung
Entwicklung von Ausleseelektronik für das Flüssig-Argon-Kalorimeter des ATLAS-Detektors am Super-LHC – Andy Kielburg-Jeka
ROD
Switch
Server
• Radisys Promentum ATCA Sys-6010 Crate- 10GbE Backplane, Dual Star- 2/12 Einschübe für Switch/Computing Module- Testplattform für 10GbE Verbindung zwischen FPGA (ROD) und Server (ROS)
• 10GbE Switch mit optischen XFP Transceiver- enthält Management Logik für Crate- 10GbE Verbindung zu Computing Modulen- später durch ROS ersetzt
• experimentelles ROD Board (BNL)- bestückt mit Xilinx Virtex 5 FPGA (6.5Gb Transceiver)- FPGA über Backplane mit Switch verbunden
• Server (ROS) mit 2 Xeon 5550- 4x Myricom 10GbE Dual Port Netzwerkkarten (optische und kupferbasierte SFP+ Verbindungen)- verbunden mit Switch über optische Leitung- Testplattform für späteres ROS- BS: Linux, 64 Bit Kernel v2.6.30
10 / 13
Status: bisherige Ergebnisse
Entwicklung von Ausleseelektronik für das Flüssig-Argon-Kalorimeter des ATLAS-Detektors am Super-LHC – Andy Kielburg-Jeka
• Server (ROS):- externer Loopback zwischen beiden Ports einer Netzwerkkarte
( „Send-to-Self“ Linux Kernel Patch, keine Verbindung zu FPGA auf ROD)- Nutzung Linux-tmpfs als Dateisystem (RAM)- Transferrate ~9.9GBit/s mit und ohne Switch
(MTU 9000, maximale Transferrate der Karten, komplett im RAM)- genügend Rechenleistung für Parallelbetrieb von 4 Karten
(~60% Auslastung für 80Gbit/s, HT an: ~30% / 80Gbit/s)
• FPGA auf ROD:- 1GbE Verbindung über Standard Ethernet Port- Datenübertragung direkt von FPGA an CPU- 10GbE Anbindung an ATCA Backplane in Arbeit
- Xilinx 10GbE Core teuer - Implementierung 10GbE MAC Core von opencores.org
• ATCA Crate:- 10GbE Verbindung über interne Switch- Vorrausetzung für weitere Tests von Kommunikation FPGA Server
11 / 13
Weiteres Vorgehen
• was ist noch zu tun:- 10GbE Anbindung FPGA über Transceiver an Backplane- Nutzung Standard-Protokolle (Ethernet, IP, UDP…)- Performance Tests von FPGA (Datenverarbeitung, Datentransfer zum Server, …)- Performance Tests von Server mit CERN DAQ Software
ROD ATCA Board
FPGA (Xilinx Virtex5 - XC5VFX70T)
10-GigabitEthernet MAC
CoreATCA-Back plane
GTX-Trans-ceiver
10Gbit Eth.über
XGMII
Switch Blade
10 Gigabit Ethernet Switch
Server (ROS) mit Dateisystem im
RAM
NutzerLogik
10Gbit Eth.über
XAUIXAUIIP-Core
10Gbit Eth.über
XAUI
10Gbit Eth.optisch
Entwicklung von Ausleseelektronik für das Flüssig-Argon-Kalorimeter des ATLAS-Detektors am Super-LHC – Andy Kielburg-Jeka 12 / 13
Zusammenfassung
Entwicklung von Ausleseelektronik für das Flüssig-Argon-Kalorimeter des ATLAS-Detektors am Super-LHC – Andy Kielburg-Jeka
• modifizierte Auslesekette des LAr im sLHC mit extrem hoher Datenrate
• Schwerpunkt auf ROS System, Teilaufgaben für ROD (FPGA)
• Server (ROS-Prototyp): 4fach parallele 10Gbit/s Anbindung über Switch möglich (RAM, Auslastung)
• FPGA (ROD-Prototyp): 1Gbit/s Anbindung erfolgreich
• offene Probleme: - 10Gbit/s Anbindung des FPGA an Backplane ATCA Crate- Verbindung zwischen FPGA und Server- Performance Tests von Server und FPGA
13 / 13