The IceProd framework: Distributed data processing for the IceCube neutrino observatory

Aartsen, M. G.; Santander, M.; Hill, G. C.; Meagher, K.; Huang, F.; Blumenthal, J.; Arguelles, C.; Daughhetee, J.; Berghaus, P.; Fischer-Wasels, T.; Meures, T.; Lesiak-Bzdak, M.; Hickford, S.; Gerhardt, L.; Westerhoff, S.; Yoshida, S.; Pepper, J. A.; Day, M.; Bernhard, A.; Hulth, P. O.; Sarkar, S.; Pinat, E.; Haj Ismail, A.; Glüsenkamp, T.; Shanidze, R.; Wood, T. R.; Posselt, J.; Eagan, R.; Aguilar, J. A.; Wissing, H.; Goodman, J. A.; Wallraff, M.; Seunarine, S.; Nahnhauer, R.; Ziemann, J.; van Santen, J.; Labare, M.; Vallecorsa, S.; Xu, X. W.; Halzen, F.; Kolanoski, H.; Desiati, P.; Taavola, H.; Hussain, S.; Berley, D.; Feintzeig, J.; Vehring, M.; Rawlins, K.; Paul, L.; Stasik, A.; Clevermann, F.; Christy, B.; BenZvi, S.; Fuchs, T.; Stößl, A.; Waldenmaier, T.; Walck, C.; Schultz, D.; Rameez, M.; De Clercq, C.; McNally, F.; Sander, H.-G.; Sullivan, G. W.; Saba, S. M.; Tepe, A.; Schoenen, S.; Redl, P.; Wolf, M.; Ha, C.; Odrowski, S.; Merck, M.; Hoffmann, R.; Schmidt, T.; Casey, J.; Wendt, C.; Middell, E.; Ahlers, M.; Pieloth, D.; Kunnen, J.; Heereman, D.; Kuwabara, T.; Jacobi, E.; Bissok, M.; Montaruli, T.; Matis, H. S.; Naumann, U.; Botner, O.; Gonzalez, J. G.; Unger, E.; Milke, N.; Xu, D. L.; Stezelberger, T.; Díaz-Vélez, J. C.; Jacobsen, J.; Stokstad, R. G.; Koskinen, D. J.; Casier, M.; Rhode, W.; Becker Tjus, J.; Smith, M. W. E.; Classen, L.; Huelsnitz, W.; Price, P. B.; Grandmont, D. T.; Tamburro, A.; Hanson, K.; Przybylski, G. T.; Clark, K.; Finley, C.; Cruz Silva, A. H.; Hebecker, D.; Grant, D.; Obertacke, A.; Chirkin, D.; Schmitz, M.; Olivas, A.; Riedel, B.; Ryckbosch, D.; Wiebe, K.; Beatty, J. J.; van Eijndhoven, N.; Gladstone, L.; Franckowiak, A.; Vraeghe, M.; Woschnagg, K.; Frantzen, K.; Kappes, A.; Homeier, A.; Golup, G.; Abbasi, R.; Christov, A.; Niederhausen, H.; Voge, M.; Feusels, T.; Resconi, E.; Toscano, S.; O’Murchadha, A.; Hultqvist, K.; Karg, T.; Eichmann, B.; Fedynitch, A.; Mase, K.; Eberhardt, B.; Hallen, P.; Kopper, C.; Taboada, I.; Bohm, C.; Rodrigues, J. P.; Boersma, D. J.; Bruijn, R.; Tselengidou, M.; Leute, J.; Bay, R.; Evenson, P. A.; Köhne, J.-H.; Schulz, O.; Dunkman, M.; Klein, S. R.; Stanisha, N. A.; Adams, J.; Schukraft, A.; Filimonov, K.; Karle, A.; Toale, P. A.; Pérez de los Heros, C.; Schönwald, A.; Zierke, S.; Goldschmidt, A.; Hoshina, K.; Kowalski, M.; Rae, I.; Stamatikos, M.; Schöneberg, S.; Kopper, S.; Nygren, D. R.; Hallgren, A.; Davis, J. C.; Cowen, D. F.; Becker, K.-H.; Nowicki, S. C.; Kaminsky, B.; Zoll, M.; Baum, V.; Danninger, M.; Blaufuss, E.; Wiebusch, C. H.; Kriesten, A.; Köpke, L.; Rott, C.; Krings, K.; Schulte, L.; Fazely, A. R.; Hellauer, R.; Böser, S.; Weaver, Ch.; Bernardini, E.; Ström, R.; Larson, M. J.; Stanev, T.; Altmann, D.; Yodh, G.; Merino, G.; Kläs, J.; Barwick, S. W.; Binder, G.; Bose, D.; DeYoung, T.; Gallagher, J.; Bai, X.; Brown, A. M.; Kohnen, G.; Miller, J.; Leuermann, M.; Bindig, D.; Flis, S.; Zarzhitsky, P.; Sestayo, Y.; Góra, D.; Macías, O.; Pfendner, C.; Tobin, M. N.; Tešić, G.; Strahler, E. A.; Ter-Antonyan, S.; Hoffman, K. D.; Spiering, C.; Soldin, D.; Kurahashi, N.; Helbing, K.; Seckel, D.; Strotjohann, N. L.; Miarecki, S.; Japaridze, G. S.; Van Overloop, A.; Kauer, M.; De Ridder, S.; Eisch, J.; Brayeur, L.; de With, M.; Madsen, J.; de Vries, K. D.; Mohrmann, L.; Quinnan, M.; Ackermann, Markus; Usner, M.; Kiryluk, J.; Krasberg, M.; Gretskov, P.; Sheremata, C.; Heinen, D.; Yanez, J. P.; Jagielski, K.; Jlelati, O.; Rädel, L.; Maruyama, R.; Jero, K.; Baker, M.; Whitehorn, N.; Auffenberg, J.; Wellons, M.; Coenders, S.; Spiczak, G. M.; Ruzybayev, B.; Tilav, S.; Williams, D. R.; Kroll, G.; Besson, D. Z.; Lünemann, J.; Ribordy, M.; Richman, M.; Euler, S.; Maggi, G.; Groß, A.; Cohen, S.; Ishihara, A.; Landsman, H.; Kelley, J. L.; Bretz, H.-P.; Ruhe, T.; Reimann, R.; Groh, J. C.; Omairat, A.; Fadiran, O.; Schatto, K.; Morse, R.; Gaisser, T. K.; Scheriau, F.

doi:10.1016/j.jpdc.2014.08.001

Journal Article

PUBDB-2016-00279

The IceProd framework: Distributed data processing for the IceCube neutrino observatory

Aartsen, M. G. ; Abbasi, R. ; Ackermann, M.DESY* ; Adams, J. ; Aguilar, J. A. ; Ahlers, M. ; Altmann, D. ; Arguelles, C. ; Auffenberg, J. ; Bai, X. ; Baker, M. ; Barwick, S. W. ; Baum, V. ; Bay, R. ; Beatty, J. J. ; Becker Tjus, J. ; Becker, K.-H. ; BenZvi, S. ; Berghaus, P.DESY* ; Berley, D. ; Bernardini, E.DESY* ; Bernhard, A. ; Besson, D. Z. ; Binder, G. ; Bindig, D. ; Bissok, M. ; Blaufuss, E. ; Blumenthal, J. ; Boersma, D. J. ; Bohm, C. ; Bose, D. ; Böser, S. ; Botner, O. ; Brayeur, L. ; Bretz, H.-P.DESY* ; Brown, A. M. ; Bruijn, R. ; Casey, J. ; Casier, M. ; Chirkin, D. ; Christov, A. ; Christy, B. ; Clark, K. ; Classen, L. ; Clevermann, F. ; Coenders, S. ; Cohen, S. ; Cowen, D. F. ; Cruz Silva, A. H.DESY* ; Danninger, M. ; Daughhetee, J. ; Davis, J. C. ; Day, M. ; De Clercq, C. ; De Ridder, S. ; Desiati, P. (Corresponding author) ; de Vries, K. D. ; de With, M. ; DeYoung, T. ; Díaz-Vélez, J. C. ; Dunkman, M. ; Eagan, R. ; Eberhardt, B. ; Eichmann, B. ; Eisch, J. ; Euler, S. ; Evenson, P. A. ; Fadiran, O. ; Fazely, A. R. ; Fedynitch, A. ; Feintzeig, J. ; Feusels, T. ; Filimonov, K. ; Finley, C. ; Fischer-Wasels, T. ; Flis, S. ; Franckowiak, A. ; Frantzen, K. ; Fuchs, T. ; Gaisser, T. K. ; Gallagher, J. ; Gerhardt, L. ; Gladstone, L. ; Glüsenkamp, T.DESY* ; Goldschmidt, A. ; Golup, G. ; Gonzalez, J. G. ; Goodman, J. A. ; Góra, D. ; Grandmont, D. T. ; Grant, D. ; Gretskov, P. ; Groh, J. C. ; Groß, A. ; Ha, C. ; Haj Ismail, A. ; Hallen, P. ; Hallgren, A. ; Halzen, F. ; Hanson, K. ; Hebecker, D. ; Heereman, D. ; Heinen, D. ; Helbing, K. ; Hellauer, R. ; Hickford, S. ; Hill, G. C. ; Hoffman, K. D. ; Hoffmann, R. ; Homeier, A. ; Hoshina, K. ; Huang, F. ; Huelsnitz, W. ; Hulth, P. O. ; Hultqvist, K. ; Hussain, S. ; Ishihara, A. ; Jacobi, E.DESY* ; Jacobsen, J. ; Jagielski, K. ; Japaridze, G. S. ; Jero, K. ; Jlelati, O. ; Kaminsky, B.DESY* ; Kappes, A. ; Karg, T.DESY* ; Karle, A. ; Kauer, M. ; Kelley, J. L. ; Kiryluk, J. ; Kläs, J. ; Klein, S. R. ; Köhne, J.-H. ; Kohnen, G. ; Kolanoski, H. ; Köpke, L. ; Kopper, C. ; Kopper, S. ; Koskinen, D. J. ; Kowalski, M. ; Krasberg, M. ; Kriesten, A. ; Krings, K. ; Kroll, G. ; Kunnen, J. ; Kurahashi, N. ; Kuwabara, T. ; Labare, M. ; Landsman, H. ; Larson, M. J. ; Lesiak-Bzdak, M. ; Leuermann, M. ; Leute, J. ; Lünemann, J. ; Macías, O. ; Madsen, J. ; Maggi, G. ; Maruyama, R. ; Mase, K. ; Matis, H. S. ; McNally, F. ; Meagher, K. ; Merck, M. ; Merino, G. ; Meures, T. ; Miarecki, S. ; Middell, E.DESY* ; Milke, N. ; Miller, J. ; Mohrmann, L.DESY* ; Montaruli, T. ; Morse, R. ; Nahnhauer, R.DESY* ; Naumann, U. ; Niederhausen, H. ; Nowicki, S. C. ; Nygren, D. R. ; Obertacke, A. ; Odrowski, S. ; Olivas, A. ; Omairat, A. ; O’Murchadha, A. ; Paul, L. ; Pepper, J. A. ; Pérez de los Heros, C. ; Pfendner, C. ; Pieloth, D. ; Pinat, E. ; Posselt, J. ; Price, P. B. ; Przybylski, G. T. ; Quinnan, M. ; Rädel, L. ; Rae, I. (Corresponding author) ; Rameez, M. ; Rawlins, K. ; Redl, P. ; Reimann, R. ; Resconi, E. ; Rhode, W. ; Ribordy, M. ; Richman, M. ; Riedel, B. ; Rodrigues, J. P. ; Rott, C. ; Ruhe, T. ; Ruzybayev, B. ; Ryckbosch, D. ; Saba, S. M. ; Sander, H.-G. ; Santander, M. ; Sarkar, S. ; Schatto, K. ; Scheriau, F. ; Schmidt, T. ; Schmitz, M. ; Schoenen, S. ; Schöneberg, S. ; Schönwald, A. ; Schukraft, A. ; Schulte, L. ; Schultz, D. ; Schulz, O. ; Seckel, D. ; Sestayo, Y. ; Seunarine, S. ; Shanidze, R.DESY* ; Sheremata, C. ; Smith, M. W. E. ; Soldin, D. ; Spiczak, G. M. ; Spiering, C.DESY* ; Stamatikos, M. ; Stanev, T. ; Stanisha, N. A. ; Stasik, A. ; Stezelberger, T. ; Stokstad, R. G. ; Stößl, A.DESY* ; Strahler, E. A. ; Ström, R. ; Strotjohann, N. L. ; Sullivan, G. W. ; Taavola, H. ; Taboada, I. ; Tamburro, A. ; Tepe, A. ; Ter-Antonyan, S. ; Tešić, G. ; Tilav, S. ; Toale, P. A. ; Tobin, M. N. ; Toscano, S. ; Tselengidou, M. ; Unger, E. ; Usner, M. ; Vallecorsa, S. ; van Eijndhoven, N. ; Van Overloop, A. ; van Santen, J. ; Vehring, M. ; Voge, M. ; Vraeghe, M. ; Walck, C. ; Waldenmaier, T. ; Wallraff, M. ; Weaver, C. ; Wellons, M. ; Wendt, C. ; Westerhoff, S. ; Whitehorn, N. ; Wiebe, K. ; Wiebusch, C. H. ; Williams, D. R. ; Wissing, H. ; Wolf, M. ; Wood, T. R. ; Woschnagg, K. ; Xu, D. L. ; Xu, X. W. ; Yanez, J. P.DESY* ; Yodh, G. ; Yoshida, S. ; Zarzhitsky, P. ; Ziemann, J. ; Zierke, S. ; Zoll, M.

2015
Elsevier Amsterdam [u.a.]

Journal of parallel and distributed computing 75, 198 - 211 (2015) [10.1016/j.jpdc.2014.08.001]

This record in other databases:

Please use a persistent id in citations: doi:10.1016/j.jpdc.2014.08.001

Report No.: arXiv:1311.5904

Abstract: IceCube is a one-gigaton instrument located at the geographic South Pole, designed to detect cosmic neutrinos, identify the particle nature of dark matter, and study high-energy neutrinos themselves. Simulation of the IceCube detector and processing of data require a significant amount of computational resources. This paper presents the first detailed description of IceProd, a lightweight distributed management system designed to meet these requirements. It is driven by a central database in order to manage mass production of simulations and analysis of data produced by the IceCube detector. IceProd runs as a separate layer on top of other middleware and can take advantage of a variety of computing resources, including grids and batch systems such as CREAM, HTCondor, and PBS. This is accomplished by a set of dedicated daemons that process job submission in a coordinated fashion through the use of middleware plugins that serve to abstract the details of job submission and job management from the framework.

Classification:

ddc:004

Note: (c) Elsevier Inc.

Contributing Institute(s):

Neutrinoteleskop (ZEU-ICE)

Research Program(s):

522 - High-energy neutrino astrophysics (POF2-522) (POF2-522)

Experiment(s):

IceCube South Pole Neutrino Observatory

Appears in the scientific report 2015

Database coverage:
Medline

;

; Current Contents - Engineering, Computing and Technology ; IF < 5 ; JCR ; SCOPUS ; Science Citation Index ; Science Citation Index Expanded ; Thomson Reuters Master Journal List ; Web of Science Core Collection

Click to display QR Code for this record

The record appears in these collections:
Private Collections > >DESY > >ZEUTHEN > ZEU-ICE
Document types > Articles > Journal Article
Public records
Publications database
OpenAccess

Linked articles:

Preprint/Internal Report Aartsen, M. G. (Corresponding author) ; Abbasi, R. ; Ackermann, M.DESY* ; et al
The IceProd Framework: Distributed Data Processing for the IceCube Neutrino Observatory
OpenAccess Files Fulltext by arXiv.org BibTeX | EndNote: XML, Text | RIS

Record created 2016-01-14, last modified 2025-07-30

Similar records

OpenAccess:

PDF

PDF (PDFA)
External link:

Fulltext by arXiv.org

Rate this document:

(Not yet reviewed)

Add to personal basket
Export as Author List with IDs BibTeX (UTF-8), EndNote XML, EndNote Text, RIS, MARC, Print MARC, MARCXML, DC,
Request correction
Submit fulltext

guest :: login PUBDB
		Search		Submit		Personalize Your alerts Your baskets Your searches		Help