MLPerf braucht neue Metriken zur Bewertung der Leistung von Deep Learning

Einer der mir bekannten Wissenschaftler, die mein Professor Mircea Vladutiu schätzt, heißt David Patterson. Einer der Hauptgründe ist vielleicht, dass sie sich beide mit Computerarchitektur beschäftigen.

Letzte Woche sah ich ein interessantes Video von Lex Fridman mit David Patterson, in dem sie interessante Themen diskutieren:

Was ich nicht wusste, ist, dass David Patterson von Anfang an hinter MLPerf, einer Benchmark zur Bewertung von Deep Learning, stand. Schön.

Ein Problem, das ich bei MLPerf Benchmark sehe, ist, dass sie hauptsächlich nur Genauigkeit oder Time-To-Accuracy (TTA) als Hauptmetriken betrachten und nicht auch Energieverbrauch und Energiekosten berücksichtigen.

Mehr noch, sie unterstützen noch nicht einmal die Energiemessung.

MLPerf Inference does not yet support power measurement, though power measurement spec is expected in version v0.6.”

Kein Wunder, dass große Unternehmen wie Nvidia bei diesem Benchmark auf den ersten Plätzen stehen.

Dies ist ein großes Problem, wie die Autoren des „Green AI„-Papiers sagten:

Red AI: AI research that seeks to obtain state-of-the-art results in accuracy (or related measures) through the use of massive computational power — essentially “buyingstronger results.”

„Green AI
: a kind of artificial intelligence research, and methods that are environmentally friendly and inclusive.“

In den kommenden Monaten werde ich einen ausführlicheren Blog-Beitrag über die 4 von mir vorgeschlagenen umweltfreundlichen Metriken schreiben, die Deep Learning-Systeme nicht nur nach ihrer Genauigkeit, sondern auch nach ihrem Energieverbrauch und ihren Kosten bewerten und Forscher dazu ermutigen, bei der Stromversorgung ihrer DL-basierten Systeme nur grüne Energie zu verwenden. Über die Computer Vision-Anwendung, die diese 4 umweltfreundlichen Metriken enthält, habe ich vor ein paar Wochen hier geschrieben (normalerweise hätte mein Metriken-Papier vor diesem Computer Vision-Anwendungs-Papier angenommen werden sollen, aber wegen der COVID-19-Situation hat sich die Benachrichtigung über die Annahme verzögert – ich warte immer noch…), also sehen Sie es sich unbedingt an, wenn Sie daran interessiert sind 😉

Leave a Comment

Diese Website verwendet Akismet, um Spam zu reduzieren. Erfahren Sie mehr darüber, wie Ihre Kommentardaten verarbeitet werden .