Muster nutzungsvertrag notebook

Erstellen Sie einen Modellhandler. MMS erwartet einen Modellhandler, bei dem es sich um eine Python-Datei handelt, die Funktionen implementiert, um vorzuverarbeiten, Preditions aus dem Modell abzubekommen und die Ausgabe in einem Modellhandler zu verarbeiten. Ein Beispiel für einen Modellhandler finden Sie unter model_handler.py aus dem Beispielnotizbuch. Es wird erwartet, dass benutzerdefinierte Elastic Container Registry (ECR)-Images, die in Amazon SageMaker bereitgestellt werden, den grundlegenden Vertrag einhalten, der unter Verwenden Ihres eigenen Inferenzcodes mit Hosting services beschrieben wird und die regeln, wie Amazon SageMaker mit einem Docker-Container interagiert, der Ihren eigenen Inferenzcode ausführt. Damit ein Container mehrere Modelle gleichzeitig laden und bedienen kann, müssen zusätzliche APIs und Verhaltensweisen befolgt werden. Dieser zusätzliche Vertrag umfasst neue APIs zum Laden, Auflisten, Abrufen und Entladen von Modellen sowie eine andere API zum Aufrufen von Modellen. Es gibt auch unterschiedliche Verhaltensweisen für Fehlerszenarien, die die APIs einhalten müssen. Um anzugeben, dass der Container die zusätzlichen Anforderungen erfüllt, können Sie der Docker-Datei den folgenden Befehl hinzufügen: Das Amazon SageMaker-Inferenz-Toolkit unterstützt nur Python-Modellhandler. Wenn Sie den Handler in einer anderen Sprache implementieren möchten, müssen Sie einen eigenen Container erstellen, der die zusätzlichen Multimodell-Endpunkt-APIs implementiert. Weitere Informationen finden Sie unter Vertrag für benutzerdefinierte Container zum Bedienen mehrerer Modelle. Amazon SageMaker Inference Toolkit ist eine Bibliothek, die Multi Model Server mit einer Konfiguration und Einstellungen bootet, die es mit Amazon SageMaker Multimodel-Endpunkten kompatibel machen.

Außerdem können Sie wichtige Leistungsparameter, z. B. die Anzahl der Arbeitskräfte pro Modell, je nach den Anforderungen Ihres Szenarios optimieren. Das nächste Thema bietet eine kurze Einführung in Docker-Container. Amazon SageMaker hat bestimmte vertragliche Anforderungen, die ein Container erfüllen muss, um damit verwendet zu werden. Im folgenden Thema wird die Amazon SageMaker Containers-Bibliothek beschrieben, die zum Erstellen von Amazon SageMaker-kompatiblen Containern verwendet werden kann, einschließlich einer Liste der Umgebungsvariablen, die sie definiert und möglicherweise benötigt. Anschließend wird ein Tutorial gezeigt, wie Sie mit Amazon SageMaker Containers beginnen, um ein Python-Skript zu trainieren. Nach dem Tutorial, Themen: Multi Model Server ist ein Open-Source-Framework für die Bereitstellung von Machine Learning-Modellen, die in Containern installiert werden können, um das Front-End bereitzustellen, das die Anforderungen für die neuen Multi-Model-Endpunkt-Container-APIs erfüllt. Es stellt die HTTP-Front-End- und Modellverwaltungsfunktionen bereit, die von Endpunkten mit mehreren Modellen benötigt werden, um mehrere Modelle in einem einzelnen Container zu hosten, Modelle dynamisch in den Container zu laden und aus dem Container zu entladen, und führt Rückschlüsse auf ein angegebenes geladenes Modell aus. Es bietet auch ein steckbares Backend, das einen steckbaren benutzerdefinierten Backend-Handler unterstützt, in dem Sie Ihren eigenen Algorithmus implementieren können. Sie können Skripts, Algorithmen und Rückschlusscode für Ihre Machine Learning-Modelle in Containern einsetzen. Der Container enthält die Laufzeit, Systemtools, Systembibliotheken und anderen Code, der zum Trainieren Ihrer Algorithmen oder Bereitstellen Ihrer Modelle erforderlich ist.

Dies gibt Ihnen die Flexibilität, fast jedes Skript oder Algorithmus-Code mit Amazon SageMaker zu verwenden, unabhängig von Laufzeit- oder Implementierungssprache. Der Code, der in Containern ausgeführt wird, ist effektiv von seiner Umgebung isoliert, wodurch eine konsistente Laufzeit gewährleistet wird, unabhängig davon, wo der Container bereitgestellt wird. Nachdem Sie Ihren Schulungscode, Rückschlusscode oder beides in Docker-Container gepackt haben, können Sie Algorithmusressourcen und Modellpaketressourcen für die Verwendung in Amazon SageMaker oder zur Veröffentlichung im AWS Marketplace erstellen. Mit Docker können Sie Code schneller versenden, Anwendungsvorgänge standardisieren, Code nahtlos verschieben und sparen, indem Sie die Ressourcennutzung verbessern. Amazon SageMaker verwendet Docker-Container immer, wenn Skripts, Trainingsalgorithmen oder Bereitstellungsmodelle ausgeführt werden. Ihr Engagement für Container hängt jedoch davon ab, ob Sie einen integrierten Algorithmus von Amazon SageMaker oder ein Skript oder Modell verwenden, das Sie selbst entwickelt haben.

Comments are Disabled