Renouvellement du cluster de calcul Haute Performance de Mercator Ocean

• Bonjour,
  
  1) Code NetCDF: la demande est de tourner des mesures avec 128 tâches MPI sur 1, 4 et 8 n?uds.
  Pouvez vous préciser s?il s?agit de 128 tâches par n?ud (c?est-à-dire 1 n?ud avec 128 tâches au total, 4 n?uds avec 512 tâches au total et 8 n?uds avec 1024 tâches au total)
  ou 128 tâches au total (c?est-à-dire 1 n?ud avec 128 tâches par n?ud, 4 n?uds avec 32 tâches par n?ud et 8 n?uds avec 16 tâches par n?ud) ?
  
  2) Code NetCDF : Pouvez vous svp clarifier les attendus
  
  Read/write throughput = (avg) I/O Performance
  Average access time = (avg) I/O time
  Memory usage = Blocksize
  Generated File size = Datasize
  
  Merci

  30 avril 2024 19:25 (heure de Paris)

  • Réponse:
    1) 1 noeud avec 128 tâches par noeud, 4 noeuds avec 32 tâches par noeud et 8 noeuds avec 16 tâches par nœud
    2) Nous avons mis dans le fichier joint nos résultats de tests sur notre cluster actuel

    13 mai 2024 11:28 (heure de Paris)

    (TXT, 6 Ko) Fichier joint à la réponse : Télécharger

  Lire les réponses ou Masquer les réponses
• Bonjour,
  
  Réponse à la question 10
  
  Je ne parviens pas à télécharger le pdf de 6Ko contenant les résultats de tests sur votre cluster actuel.
  J?ai le message suivant « Gestion des droits sur le service de dématérialisation / Vous ne disposez pas des droits nécessaires pour effectuer cette opération ».
  Je suis pourtant connecté avec mes identifiants.
  
  Par avance merci
  

  7 mai 2024 19:08 (heure de Paris)

  • Réponse:
    Bonjour, le fichier a été téléchargé sous un autre format. Celui-ci devrait être accessible.

    13 mai 2024 11:28 (heure de Paris)

  Lire les réponses ou Masquer les réponses
• Dans l'appel d'offre le data geometry demandé est (24 :1000 :1000 :100)
  
  Cette taille est-elle à prendre par process ? par nœud ? pour la totalité ?

  7 mai 2024 17:47 (heure de Paris)

  • Réponse:
    La taille de l'objet en 4 dimensions est représentative de la taille des fichiers de sortie que nous manipulons, la réponse à votre question dépend des capacités du calculateur (capacité mémoire etc). nous avons testé pour notre part la scalabilité par process.

    7 mai 2024 17:47 (heure de Paris)

  Lire les réponses ou Masquer les réponses
• Bonjour,
  
  Concernant le bench IA, la version proposée est buggée, pouvez-vous nous confirmer la possibilité de changer la version et le cas test resnet50 pour un setup plus récent ?
  
  Merci
  

  3 mai 2024 12:38 (heure de Paris)

  • Réponse:
    Bonjour,
    Oui nous vous confirmons cette possibilité.

    7 mai 2024 17:34 (heure de Paris)

  Lire les réponses ou Masquer les réponses
• Bonjour,
  
  Compte tenu des réponses en attente sur la partie benchmark et des durées d'éxecution des codes IA, peut on disposer d'une semaine supplémentaire pour remise de la réponse et/ou du rapport de bench ?
  
  Merci
  

  2 mai 2024 14:17 (heure de Paris)

  • Réponse:
    Bonjour, la date limite de remise des offres a été repoussée au 21 mai à 12h00. Un avis rectificatif a été publié et les documents ont été mis à jour // the deadline for submitting offers has been extended to May 21 at 12:00 p.m. A corrective notice has been published and the documents have been updated. Best regards,

    3 mai 2024 10:51 (heure de Paris)

  Lire les réponses ou Masquer les réponses
• Bonjour,
  
  Quel est de le temps de référence attendu sur le bench GPU svp ?
  
  Merci

  29 avril 2024 15:16 (heure de Paris)

  • Réponse:
    Bonjour, Ne disposant pas d'équipement GPU équivalent, nous n'avons pas de temps de référence sur le temps d'exécution du bench GPU. En revanche nous rappelons les métriques du paragraphe 6.1 du CCTP, et dans le cas ou votre appréciation de la performance vous paraît en inadéquation avec les capacités du matériel, intervenir sur la configuration de la solution pour améliorer la performance. // As we do not have equivalent GPU equipment, we do not have a reference time on the execution time of the GPU bench. On the other hand, we recall the metrics in paragraph 6.1 of the SOW, and in the case where your assessment of performance seems to you to be inconsistent with the capabilities of the hardware, intervene in the configuration of the solution to improve performance.Best regards,

    2 mai 2024 15:34 (heure de Paris)

  Lire les réponses ou Masquer les réponses
• Bonjour,
  
  1) Pour le code NEMO, 3 configurations sont disponibles (orca1, orca025 et orca12). Laquelle devons-nous utiliser ?
  
  2) De plus, est-ce que la performance en lecture correspond au temps d?exécution du code en mode « nowrite », et la performance en écriture au temps d?exécution en mode « write », comme fourni par le script dans les fichiers de logs du dossier nemo_bench/RESULTS/ ?
  

  30 avril 2024 09:59 (heure de Paris)

  • Réponse:
    Bonjour, 1) Il faut utiliser ORCA1 et ORCA025. 2) Les performances en lecture ne sont pas évaluées dans le cadre de ce bench nemo car l'executable n'effectue aucune lecture de fichiers. seules les performances en écriture sont évaluées en comparant les performances des 2 tests avec écriture ("write") et sans écriture ("nowrite"). Le CCTP induit en erreur sur ce point en effet. // 1) ORCA1 and ORCA025 must be used. 2) Read performance is not evaluated as part of this nemo bench because the executable does not read files. only writing performance is evaluated by comparing the performance of the 2 tests with writing ("write") and without writing ("nowrite"). The SOW is misleading on this point in fact. Best regards,

    2 mai 2024 15:34 (heure de Paris)

  Lire les réponses ou Masquer les réponses
• Bonjour,
  
  Reprise cluster actuel :
  Pouvez vous svp nous communiquer le service TAG ( N° de série) du matériel à reprendre ?
  Quel est le type de mémoire installée (8, 16, 32 Go) dans les différentes machines ?
  
  Benchmark NEMO
  Pouvez vous svp confirmer que l?on tourne le cas test NEMO proposé par défaut ?
  

  11 avril 2024 15:57 (heure de Paris)

  • Réponse:
    Bonjour,
    1) 96 GO de ram par nœud, 6x16GO (+ voir pièce-jointe).
    2) Oui, il n'y a que le cas-test "BENCH" à faire tourner (avec et sans écritures de fichiers netcdf). //
    1) 96GB ram per node, 6x16GB (+ see attachment).
    2) Yes, there is only the "BENCH" test case to run (with and without writing netcdf files).
    Best regards,

    15 avril 2024 18:03 (heure de Paris)

    (PNG, 40 Ko) Fichier joint à la réponse : Télécharger

  Lire les réponses ou Masquer les réponses
• Bonjour,
  1) Quel est l'espace que vous rendez disponible dans les armoires pour l'ensemble de l'équipement ?
  2) Pour éviter toute confusion entre le chap. 1.2 et le chap. 3.1, les processeurs souhaités comptent bien 64 cœurs ? Au minimum ou valeur fixe ?
  3) Benchmark HPL : autorisez-vous une version optimisée plutôt que NetLib HPL ?
  4) Benchmark HPL : les paramètres proposés ne permettront pas de mesurer les capacités des processeurs, y compris sur un seul nœud. Est-il possible d'ajuster les valeurs N et NB pour obtenir des valeurs représentatives de la capacité du matériel ?
  5) Benchmark NetCDF : les paramètres peuvent-ils être modifiés ou sont-ils fixés pour la consultation ?
  6) Benchmark NetCDF : préférez-vous les résultats de NetCDF pour évaluer le stockage à des benchmarks spécifiques I/O ?

  8 avril 2024 15:37 (heure de Paris)

  • Réponse:
    Bonjour,
    1) Une baie complète de 41U sera disponible (avec les PDU).
    2) Les nœuds CPU doivent avec 2 processeurs de 64 cœurs minimum.
    Les nœuds GPU doivent se rapprocher de cette configuration mais nous avons laissé le choix du nombre de cœurs CPU.
    3) Oui (cf notre réponse à la question précédente).
    4) Oui. Il est nécessaire évaluer la puissance maximale du cluster en terme de calcul.
    5) Le paramètre "data geometry" correspond à la taille maximale des tableaux que nous souhaitons utiliser sur la nouvelle machine et doit par conséquent être testé dans le cadre du benchmark. Les autres paramètres peuvent être modifiés.
    6) Nous préférons les résultats du bench Netcdf car les librairies HDF5 et Netcdf peuvent aboutir à des résultats différents que d'autres benchmarks orienté uniquement I/O. //
    1) A full 41U bay will be available (with PDUs).
    2) CPU nodes must be equipped with 2 processors of at least 64 cores.
    The GPU nodes should approximate this configuration but we left the choice of the number of CPU cores.
    3) Yes (see our answer to the previous question).
    4) Yes. It is necessary to evaluate the maximum power of the cluster in terms of calculation.
    5) The "data Geometry" parameter corresponds to the size of the arrays we want to use on the new machine and should therefore be tested as part of the benchmark. Other settings can be changed.
    6) We prefer the Netcdf benchmark results because the HDF5 and Netcdf libraries can produce different results than other I/O-oriented benchmarks.
    Best regards,
    

    8 avril 2024 15:45 (heure de Paris)

  Lire les réponses ou Masquer les réponses
• 1) Peut-on utiliser les binaires optimisées Intel et/ou AMD pour tourner le code HPL ?
  2) Pouvez-vous nous fournir les détails de votre configurations BeeGFS actuelle :
  ? l'architecture : n?uds IO et éventuellement baie/JBOD ?
  ? Les fonctionnalités en place : utilisez-vous les quotas ? Avez-vous les licences payantes quotas et si oui, pouvons-nous les réutiliser ?
  ? Etes-vous satisfaits de votre solution actuelle ? Performance, résilience, fiabilité ?
  3) Quel est le modèle du PDU afin de connaitre le nombre de prises disponibles pour chaque type ?
  4) Si nos benchmarks sont incomplets par manque d'équipement identique à la solution envisagée, est-ce que notre offre est recevable ?

  4 avril 2024 12:03 (heure de Paris)

  • Réponse:
    Bonjour,
    1) Oui vous pouvez utiliser les binaires optimisés Intel et/ou AMD. Tous les services BeeGFS et les disques sont installés sur la frontale (le beegfs-client étant installé sur chaque noeud de calcul). Aucun noeud dédié IO n'est actuellement installé.Des quotas sont mis en place via BeeGFS , sans utilisation de licence payante.Nous sommes satisfaits de la solution actuelle, le cluster de calcul n'est plus assez performant ni adapté aux besoins du machine learning.
    2) PDU modèle Raritan PX2-1842 (24 prises 10A ; 6 prises 16A), 2 voies (2 PDUS) par baie pour la double alimentation.
    3) L'offre ne sera pas rejetée, mais les résultats des benchmarks feront partis de la notation technique. Des benchmarks incomplets induiront forcément une notation moins élevée. //
    1) Yes you can use Intel and/or AMD optimized binaries. All BeeGFS services and disks are installed on the front end (the beegfs-client being installed on each computing node). No dedicated IO node is currently installed. Quotas are set up via BeeGFS, without the use of a paid license. We are satisfied with the current solution, the calculation cluster is no longer efficient enough or adapted to the needs of machine learning .
    2) PDU model Raritan PX2-1842 (24 10A outlets; 6 16A outlets), 2 channels (2 PDUS) per bay for dual power supply.
    3) The offer will not be rejected, but the benchmark results will be part of the technical rating. Incomplete benchmarks will necessarily result in a lower rating. Best regards,

    4 avril 2024 17:48 (heure de Paris)

  Lire les réponses ou Masquer les réponses
• Bonjour,
  
  Concernant la reprise du cluster en place, pouvez vous svp préciser :
  - la date de reprise envisagée
  - si l?effacement des données est à la charge du prestataire retenu ou est ce que cela sera réalisé par les équipes Mercator ?
  - si l?effacement est à faire par le prestataire, est ce qu?un logiciel d?effacement sera mis à disposition ? Est-ce que l?opération est à réaliser sur site ou est ce possible chez le prestataire après reprise du matériel ?
  
  Pouvez vous svp confirmer que l?avance possible de 25% TTC sera calculée sur le montant total du projet ?
  
  Merci
  

  4 avril 2024 12:47 (heure de Paris)

  • Réponse:
    Bonjour, 1) La reprise est envisagée 1 mois après le prononcé de la VSR comme indiqué dans le tableau en page 15 du SOW.
    L'effacement des données est à la charge du prestataire. Nous ne mettons pas à disposition de logiciel d'effacement. Cette opération est à réaliser sur site pour constater l'effectivité de l'effacement des données avant démontage du matériel.
    2) L'avance sera égale à 25% TTC du montant initial de l'installation et mise en service de la recette, donc le montant du projet hors maintenance. //
    1) Resumption is envisaged 1 month after the acceptation of the VSR as indicated in the table on page 15 of the SOW.
    The erasure of data is the responsibility of the service provider. We do not provide erasure software. This operation must be carried out on site to verify the effectiveness of data erasure before dismantling the equipment.
    2) The advance will be equal to 25% including tax of the initial amount of the installation and commissioning of the recipe, therefore the amount of the project excluding maintenance. Best regards,

    4 avril 2024 16:25 (heure de Paris)

  Lire les réponses ou Masquer les réponses
• Bonjour,
  
  1. Langue utilisée pour la réponse
  Il y a une contradiction sur la langue imposée pour la rédaction de l?offre technique.
  Peut elle être aussi rédigée en Français ?
  
  Page 5 en 2.6. Langue du Marché
  La proposition technique et ses annexes peuvent être déposés en français ou en anglais.
  
  Page 11 du RC en 5.4. Modalités de transmission du dossier
  Le dossier peut être déposé en français ou en anglais, à l?exception de l?acte d?engagement qui doit obligatoirement être renseigné en français et de la proposition technique qui doit obligatoirement être renseigné en anglais
  
  
  2. Déclaration de sous-traitance :
  Dans la déclaration de sous traitance au paragraphe K il est demandé un paiement direct de Mercator au sous-traitant.
  Est-ce obligatoire ou peut on proposer un paiement exclusif l?ensemble de la solution y compris la partie sous-traitée au donner d?ordre ?
  Auquel cas doit on refuser le paiement direct proposé au paragraphe K ?
  

  29 mars 2024 14:44 (heure de Paris)

  • Réponse:
    Bonjour,
    1- Effectivement, l'article 5.4 du RC a été rectifié. Je vous confirme que l'offre technique peut être déposée en français OU en anglais.
    2- Le paiement direct des sous-traitants est une obligation imposée par le Code de la Commande Publique. Vous ne pouvez pas refuser le paiement direct indiqué au sein de la déclaration de sous-traitance. // 1- Indeed, article 5.4 of the tender regulation document has been corrected. We confirm that the technical offer can be submitted in French OR in English.
    2- Direct payment of subcontractors is an obligation imposed by the Public Procurement Code. You cannot refuse the direct payment indicated in the subcontracting declaration. Best regards,

    2 avril 2024 11:15 (heure de Paris)

  Lire les réponses ou Masquer les réponses
• Bonjour,
  
  Délai de facturation :
  Pouvez-vous nous confirmer que la facturation sera alignée aux dates de livrables réelles des différents jalons et non figée à T0+6 mois/T0+9mois/T0+12 mois.
  Si on livre et on installe plus tôt, on pourra auquel cas facturer plus rapidement.
  Peut on proposer un plan de facturation différent ?
  
  Volumétrie stockage :
  Pouvez vous svp confirmer que la volumétrie utile cible pour le stockage est de 15TB ?
  
  Planning Commande :
  La remise de l?offre est au 14.05.2024, compte tenu de vos procédure d?étude et de validation, à quelle échéance estimez vous pouvoir notifié le candidat retenu et commander le matériel ?
  
  
  

  21 mars 2024 19:00 (heure de Paris)

  • Réponse:
    Bonjour,
    1- Effectivement, ces dates sont des dates limites. En cas de fournitures plus rapides de ces livrables, la facturation s'alignera avec la réalité.
    2- En cas de fournitures plus rapides, la facturation s'alignera avec la réalité.
    3- Le plan de facturation ne peut être modifié, seul celui indiqué dans le CCAP sera appliqué.
    4- Oui l'espace de stockage partagé entre les nœuds, en lecture/écriture doit être de 15 TB minimum.
    5- Comme indiqué au sein de l'article relatif à la durée du marché (2.5 du CCAP), la notification et donc le démarrage de la prestation est estimée pour mi-juillet au plus tard. // 1- Indeed, these dates are deadlines. In case of faster delivery of these deliverables, invoicing will align with reality.
    2- In the event of faster supplies, invoicing will align with reality.
    3- The billing plan cannot be modified, only that indicated in the SCC will be applied.
    4- Yes, the storage space shared between the nodes, read/write must be 15 TB minimum.
    5- As indicated in the article relating to the duration of the contract (2.5 of the SCC), notification and therefore the start of the service is estimated for mid-July at the latest. Best regards,

    26 mars 2024 12:10 (heure de Paris)

  Lire les réponses ou Masquer les réponses

Il y a 0 question(s) en attente