Un système multi-agent adaptatif pour la réallocation de tâches au sein d'un job MapReduce
| العنوان: | Un système multi-agent adaptatif pour la réallocation de tâches au sein d'un job MapReduce |
|---|---|
| المؤلفون: | Jean-Christophe Routier, Quentin Baert, Maxime Morge, Kostas Stathis, Anne-Cécile Caron |
| المساهمون: | Equipe SMAC, CRIStAL, Systèmes Multi-Agents et Comportements (SMAC), Centre de Recherche en Informatique, Signal et Automatique de Lille - UMR 9189 (CRIStAL), Centrale Lille-Université de Lille-Centre National de la Recherche Scientifique (CNRS)-Centrale Lille-Université de Lille-Centre National de la Recherche Scientifique (CNRS), Centrale Lille-Université de Lille-Centre National de la Recherche Scientifique (CNRS), Department of Computer Science (Royal Holloway University of London), Computer Learning Research Centre [Royal Holloway, University of London], Royal Holloway [University of London] (RHUL)-Royal Holloway [University of London] (RHUL), Université de Lille, Royal Holloway University of London - Department of Computer Science (RHUL) |
| المصدر: | Journal of Parallel and Distributed Computing Journal of Parallel and Distributed Computing, Elsevier, In press, 153, pp.75-88. ⟨10.1016/j.jpdc.2021.03.008⟩ Revue Ouverte d'Intelligence Artificielle Revue Ouverte d'Intelligence Artificielle, 2022, pp.557-585 Journal of Parallel and Distributed Computing, 2021, 153, pp.75-88. ⟨10.1016/j.jpdc.2021.03.008⟩ |
| بيانات النشر: | HAL CCSD, 2022. |
| سنة النشر: | 2022 |
| مصطلحات موضوعية: | [INFO.INFO-AI] Computer Science [cs]/Artificial Intelligence [cs.AI], Computer Networks and Communications, Process (engineering), Computer science, Distributed computing, 02 engineering and technology, Negotiation, Theoretical Computer Science, Task (project management), Scheduling (computing), [INFO.INFO-AI]Computer Science [cs]/Artificial Intelligence [cs.AI], Artificial Intelligence, Situated, 0202 electrical engineering, electronic engineering, information engineering, MapReduce, Data processing, Multi-agent system, Context (computing), Multi-agent systems, Novelty, BigData, 020206 networking & telecommunications, [INFO.INFO-MO]Computer Science [cs]/Modeling and Simulation, Hardware and Architecture, [INFO.INFO-MA]Computer Science [cs]/Multiagent Systems [cs.MA], 020201 artificial intelligence & image processing, [INFO.INFO-MA] Computer Science [cs]/Multiagent Systems [cs.MA], [INFO.INFO-MO] Computer Science [cs]/Modeling and Simulation, Software |
| الوصف: | We study the problem of task reallocation for load-balancing of MapReduce jobs in applications that process large datasets. In this context, we propose a novel strategy based on cooperative agents used to optimise the task scheduling in a single MapReduce job. The novelty of our strategy lies in the ability of agents to identify opportunities within a current unbalanced allocation, which in turn trigger concurrent and one-to-many negotiations amongst agents to locally reallocate some of the tasks within a job. Our contribution is that tasks are reallocated according to the proximity of the resources and they are performed in accordance to the capabilities of the nodes in which agents are situated. To evaluate the adaptivity and responsiveness of our approach, we implement a prototype test-bed and conduct a vast panel of experiments in a heterogeneous environment and by exploring varying hardware configurations. This extensive experimentation reveals that our strategy significantly improves the overall runtime over the classical Hadoop data processing. Nous étudions le problème de la réallocation de tâches pour l'équilibrage de jobs MapReduce dans des applications de traitement de données massives. Dans ce contexte, pour optimiser l'ordonnancement de tâches dans un seul job MapReduce, nous proposons une stratégie basée sur des agents coopératifs. L'originalité de notre stratégie réside dans la capacité des agents à identifier des opportunités au sein d'une allocation déséquilibrée qui leur permettent de déclencher des négociations «~un-à-plusieurs~» concurrentes entre agents dans le but de réallouer certaines tâches au sein du job. Notre contribution consiste à réallouer les tâches en fonction de la proximité des ressources pour qu'elles soient exécutées en tenant compte des capacités des nœuds sur lesquels sont situés les agents. Pour évaluer l'adaptivité et la réactitivé de notre approche, nous avons implémenté un prototype et mené de nombreuses expériences dans un environnement hétérogène, selon différentes configurations. Cette large campagne d'expérimentations révèle que notre stratégie améliore significativement le temps d'exécution total par rapport au processus classique de Hadoop. |
| وصف الملف: | application/pdf |
| اللغة: | French |
| تدمد: | 0743-7315 1096-0848 2967-9672 |
| URL الوصول: | https://explore.openaire.eu/search/publication?articleId=doi_dedup___::737d34be2764b88a93c7efb4aad0b773 https://hal.science/hal-03869505 |
| حقوق: | OPEN |
| رقم الأكسشن: | edsair.doi.dedup.....737d34be2764b88a93c7efb4aad0b773 |
| قاعدة البيانات: | OpenAIRE |
| تدمد: | 07437315 10960848 29679672 |
|---|