这篇文章记录使用 huggingface: accelerate .
如何加载accelerate 重写后的代码:doc
accelerate 的 config 文件位于路径：~/.cache/huggingface/accelerate
check accelerate config: accelerate env
run script using accelerate: accelerate launch
acceleratre API
最近使用了很多的 Accelerate 仓库的 API，关于多进程之间的同步操作，这个库里的很多方法应该是继承自 torch DDP 方法。 主要包括: TODO: Finish later.
prepare
prepare_model prepare_dataset
gather
gather for metrics
is_main_process
accelerate intergrated with deepspeed
accelerate config
wandb support
init tracks.