java IOException:无法在/ tmp / blockmgr中创建本地目录*

我试图运行一个长时间运行的Spark Job。 经过几个小时的执行后,我得到以下例外:

Caused by: java.io.IOException: Failed to create local dir in /tmp/blockmgr-bb765fd4-361f-4ee4-a6ef-adc547d8d838/28 

试图通过检查来解决它:

  • / tmp目录中的权限问题。 火花服务器没有以root身份运行。 但/ tmp dir应该可写入所有用户。

  • / tmp Dir有足够的空间。


  • 假设你正在处理多个节点,你需要检查参与火花操作的每个节点 (主/从+从/节点/工作者)。

    请确认每个工作人员/节点有足够的磁盘空间(特别是check / tmp文件夹)和正确的权限。

    链接地址: http://www.djcxy.com/p/37599.html

    上一篇: java IOException :Failed to create local dir in /tmp/blockmgr*

    下一篇: Point cloud XYZ format specification