The IceProd Framework: Distributed Data Processing for the IceCube Neutrino Observatory

Aartsen, M. G.; Santander, M.; Hill, G. C.; Meagher, K.; Huang, F.; Blumenthal, J.; Arguelles, C.; Daughhetee, J.; Milke, N.; Berghaus, P.; Fischer-Wasels, T.; Meures, T.; Lesiak-Bzdak, M.; Hickford, S.; Gerhardt, L.; Westerhoff, S.; Yoshida, S.; Pepper, J. A.; Day, M.; Bernhard, A.; Hulth, P. O.; Sarkar, S.; Pinat, E.; Glüsenkamp, T.; Shanidze, R.; Wood, T. R.; Posselt, J.; Eagan, R.; Aguilar, J. A.; Wissing, H.; Goodman, J. A.; Wallraff, M.; Seunarine, S.; Nahnhauer, R.; Tjus, J. Becker; Labare, M.; Vallecorsa, S.; Seckel, D.; Halzen, F.; Kolanoski, H.; Desiati, P.; Taavola, H.; Hussain, S.; Berley, D.; Feintzeig, J.; Vehring, M.; Rawlins, K.; Paul, L.; Stasik, A.; Clevermann, F.; Christy, B.; BenZvi, S.; Fuchs, T.; Stößl, A.; Waldenmaier, T.; Walck, C.; Schultz, D.; Rameez, M.; De Clercq, C.; Grant, D.; Sullivan, G. W.; Saba, S. M.; Tepe, A.; Schoenen, S.; Redl, P.; Wolf, M.; Ha, C.; Odrowski, S.; Merck, M.; Hoffmann, R.; Schmidt, T.; Casey, J.; Wendt, C.; Middell, E.; Ahlers, M.; Pieloth, D.; Kunnen, J.; Heereman, D.; Kuwabara, T.; Jacobi, E.; Bissok, M.; Montaruli, T.; Matis, H. S.; Naumann, U.; Botner, O.; Gonzalez, J. G.; McNally, F.; Xu, D. L.; Stezelberger, T.; Díaz-Vélez, J. C.; Jacobsen, J.; Stokstad, R. G.; Koskinen, D. J.; Casier, M.; Ruhe, T.; Omairat, A.; Smith, M. W. E.; Classen, L.; Huelsnitz, W.; Price, P. B.; Grandmont, D. T.; Heros, C. Pérez de los; Hanson, K.; Silva, A. H. Cruz; Przybylski, G. T.; Clark, K.; Finley, C.; Tamburro, A.; Xu, X. W.; Hebecker, D.; Becker, K. -H.; Obertacke, A.; Chirkin, D.; Schmitz, M.; Olivas, A.; Riedel, B.; O'Murchadha, A.; Wiebe, K.; Beatty, J. J.; van Eijndhoven, N.; Gladstone, L.; Franckowiak, A.; Vraeghe, M.; Woschnagg, K.; Frantzen, K.; Kappes, A.; Homeier, A.; Golup, G.; Abbasi, R.; Christov, A.; Niederhausen, H.; Voge, M.; Feusels, T.; Resconi, E.; Toscano, S.; Rhode, W.; Hultqvist, K.; Karg, T.; Eichmann, B.; Fedynitch, A.; Mase, K.; Eberhardt, B.; Hallen, P.; Kopper, C.; Taboada, I.; Bohm, C.; Rodrigues, J. P.; Boersma, D. J.; Bruijn, R.; Tselengidou, M.; Leute, J.; Bay, R.; Evenson, P. A.; Schulz, O.; Dunkman, M.; Klein, S. R.; Stanisha, N. A.; Adams, J.; Schukraft, A.; Filimonov, K.; Karle, A.; Toale, P. A.; Ziemann, J.; Schönwald, A.; Zierke, S.; Goldschmidt, A.; Hoshina, K.; Kowalski, M.; Sander, H. -G.; Rae, I.; Stamatikos, M.; Schöneberg, S.; Kopper, S.; Nygren, D. R.; Hallgren, A.; Davis, J. C.; Cowen, D. F.; Nowicki, S. C.; Kaminsky, B.; Zoll, M.; Baum, V.; Danninger, M.; Blaufuss, E.; Wiebusch, C. H.; Kriesten, A.; Köpke, L.; Rott, C.; Bretz, H. -P.; Krings, K.; Schulte, L.; Fazely, A. R.; Hellauer, R.; Böser, S.; van Santen, J.; Weaver, Ch.; Bernardini, E.; Ström, R.; Köhne, J. -H.; Larson, M. J.; Stanev, T.; Altmann, D.; Yodh, G.; Merino, G.; Kläs, J.; Barwick, S. W.; Binder, G.; Bose, D.; DeYoung, T.; Gallagher, J.; Bai, X.; Brown, A. M.; Kohnen, G.; Miller, J.; Leuermann, M.; Bindig, D.; Flis, S.; Zarzhitsky, P.; Sestayo, Y.; Góra, D.; Macías, O.; Pfendner, C.; Tobin, M. N.; Tešić, G.; Strahler, E. A.; Ter-Antonyan, S.; Hoffman, K. D.; Spiering, C.; Soldin, D.; Kurahashi, N.; Helbing, K.; ädel, L. R; Strotjohann, N. L.; Miarecki, S.; Japaridze, G. S.; Van Overloop, A.; Kauer, M.; De Ridder, S.; Eisch, J.; Brayeur, L.; de With, M.; Madsen, J.; de Vries, K. D.; Mohrmann, L.; Quinnan, M.; Ackermann, Markus; Usner, M.; Kiryluk, J.; Krasberg, M.; Gretskov, P.; Sheremata, C.; Heinen, D.; Yanez, J. P.; Ismail, A. Haj; Jagielski, K.; Jlelati, O.; Maruyama, R.; Jero, K.; Baker, M.; Whitehorn, N.; Auffenberg, J.; Wellons, M.; Coenders, S.; Ryckbosch, D.; Spiczak, G. M.; Ruzybayev, B.; Tilav, S.; Williams, D. R.; Kroll, G.; Besson, D. Z.; Lünemann, J.; Ribordy, M.; Richman, M.; Euler, S.; Maggi, G.; Groß, A.; Cohen, S.; Ishihara, A.; Landsman, H.; Kelley, J. L.; Reimann, R.; Groh, J. C.; Unger, E.; Fadiran, O.; Schatto, K.; Morse, R.; Gaisser, T. K.; Scheriau, F.

Preprint/Internal Report

DESY-2014-01330

The IceProd Framework: Distributed Data Processing for the IceCube Neutrino Observatory

Aartsen, M. G. (Corresponding author) ; Abbasi, R. ; Ackermann, M.DESY* ; Adams, J. ; Aguilar, J. A. ; Ahlers, M. ; Altmann, D. ; Arguelles, C. ; Auffenberg, J. ; Bai, X. ; Baker, M. ; Barwick, S. W. ; Baum, V. ; Bay, R. ; Beatty, J. J. ; Tjus, J. B. ; Becker, K. -. ; BenZvi, S. ; Berghaus, P.DESY* ; Berley, D. ; Bernardini, E.DESY* ; Bernhard, A. ; Besson, D. Z. ; Binder, G. ; Bindig, D. ; Bissok, M. ; Blaufuss, E. ; Blumenthal, J. ; Boersma, D. J. ; Bohm, C. ; Bose, D. ; Böser, S. ; Botner, O. ; Brayeur, L. ; Bretz, H. -. ; Brown, A. M. ; Bruijn, R. ; Casey, J. ; Casier, M. ; Chirkin, D. ; Christov, A. ; Christy, B. ; Clark, K. ; Classen, L. ; Clevermann, F. ; Coenders, S. ; Cohen, S. ; Cowen, D. F. ; Silva, A. H. C.DESY* ; Danninger, M. ; Daughhetee, J. ; Davis, J. C. ; Day, M. ; De Clercq, C. ; De Ridder, S. ; Desiati, P. ; de Vries, K. D. ; de With, M.Extern* ; DeYoung, T. ; Díaz-Vélez, J. C. ; Dunkman, M. ; Eagan, R. ; Eberhardt, B. ; Eichmann, B. ; Eisch, J. ; Euler, S. ; Evenson, P. A. ; Fadiran, O. ; Fazely, A. R. ; Fedynitch, A. ; Feintzeig, J. ; Feusels, T. ; Filimonov, K. ; Finley, C. ; Fischer-Wasels, T. ; Flis, S. ; Franckowiak, A.Extern* ; Frantzen, K. ; Fuchs, T. ; Gaisser, T. K. ; Gallagher, J. ; Gerhardt, L. ; Gladstone, L. ; Glüsenkamp, T.DESY* ; Goldschmidt, A. ; Golup, G. ; Gonzalez, J. G. ; Goodman, J. A. ; Góra, D.DESY* ; Grandmont, D. T. ; Grant, D. ; Gretskov, P. ; Groh, J. C. ; Groß, A. ; Ha, C. ; Ismail, A. H. ; Hallen, P. ; Hallgren, A. ; Halzen, F. ; Hanson, K. ; Hebecker, D. ; Heereman, D. ; Heinen, D. ; Helbing, K. ; Hellauer, R. ; Hickford, S. ; Hill, G. C. ; Hoffman, K. D. ; Hoffmann, R.Extern* ; Homeier, A. ; Hoshina, K. ; Huang, F. ; Huelsnitz, W. ; Hulth, P. O. ; Hultqvist, K. ; Hussain, S. ; Ishihara, A. ; Jacobi, E.DESY* ; Jacobsen, J. ; Jagielski, K. ; Japaridze, G. S. ; Jero, K. ; Jlelati, O. ; Kaminsky, B.Extern* ; Kappes, A.Extern* ; Karg, T.DESY* ; Karle, A. ; Kauer, M. ; Kelley, J. L. ; Kiryluk, J. ; Kläs, J. ; Klein, S. R. ; Köhne, J. -. ; Kohnen, G. ; Kolanoski, H.Extern* ; Köpke, L. ; Kopper, C. ; Kopper, S. ; Koskinen, D. J. ; Kowalski, M.Extern* ; Krasberg, M. ; Kriesten, A. ; Krings, K. ; Kroll, G. ; Kunnen, J. ; Kurahashi, N. ; Kuwabara, T. ; Labare, M. ; Landsman, H. ; Larson, M. J. ; Lesiak-Bzdak, M. ; Leuermann, M. ; Leute, J. ; Lünemann, J. ; Macías, O. ; Madsen, J. ; Maggi, G. ; Maruyama, R. ; Mase, K. ; Matis, H. S. ; McNally, F. ; Meagher, K. ; Merck, M. ; Merino, G. ; Meures, T. ; Miarecki, S. ; Middell, E.DESY* ; Milke, N. ; Miller, J. ; Mohrmann, L.DESY* ; Montaruli, T. ; Morse, R. ; Nahnhauer, R.DESY* ; Naumann, U. ; Niederhausen, H. ; Nowicki, S. C. ; Nygren, D. R. ; Obertacke, A. ; Odrowski, S.Extern* ; Olivas, A. ; Omairat, A. ; O'Murchadha, A. ; Paul, L.Extern* ; Pepper, J. A. ; Heros, C. P. d. l. ; Pfendner, C. ; Pieloth, D. ; Pinat, E. ; Posselt, J. ; Price, P. B. ; Przybylski, G. T. ; Quinnan, M. ; ädel, L. R. ; Rae, I. ; Rameez, M. ; Rawlins, K. ; Redl, P. ; Reimann, R. ; Resconi, E. ; Rhode, W. ; Ribordy, M. ; Richman, M. ; Riedel, B. ; Rodrigues, J. P. ; Rott, C. ; Ruhe, T.Extern* ; Ruzybayev, B. ; Ryckbosch, D. ; Saba, S. M. ; Sander, H. -. ; Santander, M. ; Sarkar, S. ; Schatto, K. ; Scheriau, F. ; Schmidt, T. ; Schmitz, M.Extern* ; Schoenen, S. ; Schöneberg, S. ; Schönwald, A.DESY* ; Schukraft, A. ; Schulte, L. ; Schultz, D. ; Schulz, O. ; Seckel, D. ; Sestayo, Y. ; Seunarine, S.Extern* ; Shanidze, R.Extern* ; Sheremata, C. ; Smith, M. W. E. ; Soldin, D. ; Spiczak, G. M. ; Spiering, C.DESY* ; Stamatikos, M. ; Stanev, T. ; Stanisha, N. A. ; Stasik, A. ; Stezelberger, T. ; Stokstad, R. G. ; Stößl, A.DESY* ; Strahler, E. A. ; Ström, R. ; Strotjohann, N. L. ; Sullivan, G. W. ; Taavola, H. ; Taboada, I. ; Tamburro, A. ; Tepe, A. ; Ter-Antonyan, S. ; Tešić, G. ; Tilav, S. ; Toale, P. A. ; Tobin, M. N. ; Toscano, S. ; Tselengidou, M.Extern* ; Unger, E. ; Usner, M. ; Vallecorsa, S. ; van Eijndhoven, N. ; Van Overloop, A. ; van Santen, J. ; Vehring, M. ; Voge, M. ; Vraeghe, M. ; Walck, C. ; Waldenmaier, T. ; Wallraff, M. ; Weaver, C. ; Wellons, M. ; Wendt, C. ; Westerhoff, S. ; Whitehorn, N. ; Wiebe, K. ; Wiebusch, C. H. ; Williams, D. R. ; Wissing, H. ; Wolf, M.Extern* ; Wood, T. R. ; Woschnagg, K. ; Xu, D. L. ; Xu, X. W. ; Yanez, J. P.DESY* ; Yodh, G. ; Yoshida, S. ; Zarzhitsky, P. ; Ziemann, J. ; Zierke, S. ; Zoll, M.

2013

This record in other databases:

Report No.: arXiv:1311.5904

Abstract: IceCube is a one-gigaton instrument located at the geographic South Pole, designed to detect cosmic neutrinos, iden- tify the particle nature of dark matter, and study high-energy neutrinos themselves. Simulation of the IceCube detector and processing of data require a significant amount of computational resources. IceProd is a distributed management system based on Python, XML-RPC and GridFTP. It is driven by a central database in order to coordinate and admin- ister production of simulations and processing of data produced by the IceCube detector. IceProd runs as a separate layer on top of other middleware and can take advantage of a variety of computing resources, including grids and batch systems such as CREAM, Condor, and PBS. This is accomplished by a set of dedicated daemons that process job submission in a coordinated fashion through the use of middleware plugins that serve to abstract the details of job submission and job management from the framework.

Contributing Institute(s):