Dask 是一个灵活的 Python 并行计算库。
Dask由两部分组成：
为计算优化的动态任务调度。这类似于?Airflow、Luigi、Celery 或 Make，但针对交互式计算工作负载进行了优化。
“大数据”集合，如并行数组、数据帧和列表，将常用接口（如NumPy、Pandas 或 Python 迭代器）扩展到大于内存或分布式环境。这些并行集合运行在动态任务调度程序之上。
Dask 强调以下优点：
熟悉：提供并行化的 NumPy 数组和 Pandas DataFrame 对象
灵活：为更多自定义工作负载和与其他项目的集成提供任务调度接口。
Native：通过访问 PyData 堆栈，在纯 Python 中启用分布式计算。
快速：以低开销、低延迟和快速数值算法所需的最少序列化运行
向上扩展：在具有 1000 个内核的集群上弹性运行
缩小：在单个进程中在笔记本电脑上设置和运行是微不足道的
响应式：在设计时考虑到交互式计算，它提供快速反馈和诊断以帮助人类
通过一段时间的学习，个人感觉dask的上手体验还是很不错的。操作起来和pandas基本一样，而且支持对于较大规模数据集的处理。工作环境里，并没有spark环境，只有普通的单机环境。所以计划在未来一段时间里，多使用dask来解决一些数据处理问题。
?
 1.本站遵循行业规范，任何转载的稿件都会明确标注作者和来源；2.本站的原创文章，会注明原创字样,如未注明都非原创，如有侵权请联系删除！；3.作者投稿可能会经我们编辑修改或补充；4.本站不提供任何储存功能只提供收集或者投稿人的网盘链接。 |
