java IOException:无法在/ tmp / blockmgr中创建本地目录*
我试图运行一个长时间运行的Spark Job。 经过几个小时的执行后,我得到以下例外:
Caused by: java.io.IOException: Failed to create local dir in /tmp/blockmgr-bb765fd4-361f-4ee4-a6ef-adc547d8d838/28
试图通过检查来解决它:
/ tmp目录中的权限问题。 火花服务器没有以root身份运行。 但/ tmp dir应该可写入所有用户。
/ tmp Dir有足够的空间。
假设你正在处理多个节点,你需要检查参与火花操作的每个节点 (主/从+从/节点/工作者)。
请确认每个工作人员/节点有足够的磁盘空间(特别是check / tmp文件夹)和正确的权限。
链接地址: http://www.djcxy.com/p/37599.html上一篇: java IOException :Failed to create local dir in /tmp/blockmgr*