常见问题解答 - Google Colab
文章推薦指數: 80 %
Google 云端硬盘强制执行各种限制,包括每位用户的操作次数、对每个文件的操作次数以及带宽配额。
超出这些限制就会触发上面提到的 Input/output error ,并会在Colab 界面 ...
跳转到内容页面
Colaboratory
常见问题解答
基础知识
Colaboratory是什么?Colaboratory简称“Colab”,是GoogleResearch团队开发的一款产品。
在Colab中,任何人都可以通过浏览器编写和执行任意Python代码。
它尤其适合机器学习、数据分析和教育目的。
从技术上来说,Colab是一种托管式Jupyter笔记本服务。
用户无需设置,就可以直接使用,同时还能获得GPU等计算资源的免费使用权限。
它真的可以免费使用吗?是的。
Colab可免费使用。
这有点好得令人难以置信。
有什么限制吗?Colab的资源供应没有保证,也不会无限量供应,用量限额有时会变化。
只有这样,Colab才能免费提供资源。
如需了解详情,请参阅资源限制
如果用户希望获得更加可靠的权限来使用更加优质的资源,可以订阅ColabPro。
Jupyter和Colab有什么区别?Jupyter是一个开放源代码项目,而Colab是在Jupyter基础之上开发的。
通过Colab,您无需下载、安装或运行任何软件,就可以使用Jupyter笔记本并与他人共享。
使用Colab
我的笔记本存储在什么地方?可以共享吗?Colab笔记本存储在Google云端硬盘上,也可以从GitHub加载。
您可以共享Colab笔记本,就像使用Google文档或表格一样。
只需点击任一Colab笔记本右上角的“共享”按钮,或按照相关Google云端硬盘文件共享说明操作。
共享笔记本时,具体会共享哪些内容?如果您选择共享笔记本,笔记本的全部内容(包括文本、代码、输出项和注释)都会被共享。
您可以通过依次选择修改>笔记本设置>保存此笔记本时忽略代码单元格输出项,将代码单元格输出项排除在保存或共享范围之外。
系统不会共享您正在使用的虚拟机(包括您已设置的所有自定义文件和库)。
因此,对于那些会安装和加载任何您笔记本需要的自定义库或文件的单元格,最好将它们纳入其中。
我可以将现有的Jupyter/IPython笔记本导入Colab吗?可以。
只需从“文件”菜单中选择“上传笔记本”即可。
如何搜索Colab笔记本?您可以使用Google云端硬盘搜索Colab笔记本。
点击笔记本视图左上方的Colab徽标将显示云端硬盘中的所有笔记本。
您还可以依次选择文件>打开笔记本,搜索您最近打开过的笔记本。
我的代码在哪里执行?如果关闭浏览器窗口,我的执行状态会怎样?代码会在专供您的帐号使用的虚拟机中执行。
虚拟机闲置一段时间后会被删除,并且Colab服务为虚拟机强制设置了最长有效期。
如何获取数据?您可以按照相关说明从Google云端硬盘下载您已创建的任何Colab笔记本,也可以通过Colab的“文件”菜单下载笔记本。
所有Colab笔记本均以开放源代码Jupyter笔记本格式(.ipynb)存储。
如何重置运行我的代码的虚拟机?为什么这项设置有时用不了?请依次选择运行时>将该运行时恢复出厂设置,将分配给您的所有托管虚拟机恢复到原始状态。
在虚拟机运行状况不佳的情况下(例如,意外覆盖系统文件或安装了不兼容的软件时),该操作会非常有用。
Colab会限制重置操作的频率,以免不必要的资源消耗。
如果重置失败,请稍后再试。
为什么drive.mount()有时会失败,并提示“超时”?为什么在通过drive.mount()装载的文件夹中执行的I/O操作有时会失败?当文件夹中的文件或子文件夹数量太多时,Google云端硬盘操作可能会出现超时问题。
如果有成千上万个项目直接包含在“我的云端硬盘”顶级文件夹中,那么装载该云端硬盘可能会超时。
如果重复尝试,最后有可能会成功,因为在超时之前,失败的尝试会在本地缓存部分状态。
如果您遇到此问题,请尝试将直接包含在“我的云端硬盘”中的文件和文件夹移至子文件夹。
如果在drive.mount()运行成功后从其他文件夹中读取数据,可能会出现类似问题。
访问含有许多项目的任何文件夹中的项目都可能会导致错误,例如OSError:[Errno5]Input/outputerror。
同样,您只需将直接包含的项目移至子文件夹中,便可解决此问题。
请注意,通过将文件或子文件夹移入回收站来将其“删除”可能还不够;如果执行上述操作后问题仍未解决,请务必再清空回收站。
为什么云端硬盘操作有时会因配额问题而失败?Google云端硬盘强制执行各种限制,包括每位用户的操作次数、对每个文件的操作次数以及带宽配额。
超出这些限制就会触发上面提到的Input/outputerror,并会在Colab界面中显示一则通知。
常见原因包括:访问常用共享文件,或过快访问太多不同的文件。
解决办法包括:通过drive.google.com复制文件,并且不要将文件分享给太多人,以便其他用户不会用尽其配额。
避免太多琐碎的I/O读取,建议选择以压缩格式(例如:.zip或.tar.gz文件)将数据从云端硬盘复制到Colab虚拟机,然后在虚拟机本地而非装载的云端硬盘目录中解压缩数据。
配额限制一天后会重置。
为什么云端硬盘操作有时会因存储空间配额问题而失败?Google云端硬盘对每位用户可在其中存储的数据量施加了限制。
如果云端硬盘操作因Input/outputerror而失败,并且系统通知已超出存储空间配额,请通过drive.google.com页面删除一些文件,然后清空回收站以回收存储空间。
可能需要过一段时间,回收的存储空间才可供在Colab中使用。
如果您想购买更多云端硬盘存储空间,请访问Google云端硬盘。
注意,购买更多云端硬盘存储空间并不能增加Colab虚拟机中的可用磁盘空间,而订阅ColabPro可以。
资源限制
为什么Colab不能保证资源供应?为了能够免费提供计算资源,Colab需要保持即时调整用量限额和硬件供应情况的灵活性。
Colab中的可用资源会不时变化,以适应需求的波动性以及总体需求的增长和其他因素。
有些用户希望超越资源限制,在Colab中完成更多工作。
ColabPro和Pro+使用户能够优先使用更快的GPU,并向用户提供运行时间更长的笔记本以及更多内存。
我们的长期目标是继续提供免费版Colab,同时以可持续的方式增长,以满足用户的需求。
如果您想要完全控制Colab中的资源,不妨了解一下ColabGCPMarketplace虚拟机。
ColabGCPMarketplace虚拟机可让您明确指定要使用的运行时资源,并为您提供可根据需要进行管理的永久环境,同时仍可让您使用Colab界面。
Colab的用量限额是多少?Colab之所以能够免费提供资源,部分原因在于它的用量限额是时有变化的动态限额,并且它不会保证资源供应或无限供应资源。
也就是说,总体用量限额、空闲超时时长、虚拟机生命周期上限、可用GPU类型以及其他因素都会不时变化。
Colab不会公布这些限额,原因之一是它们不仅可能、而且有时确实会快速变化。
与使用Colab长时间运行计算的用户相比,系统有时会向交互地使用Colab或最近资源用量较少的用户优先提供GPU和TPU。
因此,使用Colab长时间运行计算的用户,或最近资源用量较大的用户,更有可能遇到用量限额的情况,并导致他们暂时无法使用GPU和TPU。
如果用户希望获得更高、更稳定的用量限额,可以订阅ColabPro和Pro+。
计算需求较高的用户可以在使用Colab界面的同时,在自己的硬件或ColabGCPMarketplace虚拟机上运行本地运行时。
Colab提供哪些类型的GPU?Colab中的可用GPU类型会不时变化。
只有这样,Colab才能免费提供这些资源。
如果用户希望更稳定地使用Colab最快的GPU,可以订阅ColabPro和Pro+。
如果您想要在Colab中使用特定的硬件,不妨了解一下ColabGCPMarketplace虚拟机。
请注意,我们绝对禁止使用Colab挖掘加密货币,这样做可能会导致您的帐号在Colab中被完全禁用。
在Colab中,笔记本可以运行多长时间?笔记本要连接到虚拟机才能运行,虚拟机的最长生命周期可以达到12小时。
笔记本如果处于空闲状态的时间过长,也会与虚拟机断开连接。
虚拟机的最长生命周期和空闲超时行为可能会随时变化,也会根据您的使用情况调整。
只有这样,Colab才能免费提供计算资源。
如果用户希望虚拟机的生命周期更长、对空闲超时行为的限制更宽松,并希望这两项随时间变化的幅度小一些,可以订阅ColabPro和Pro+。
如果您想要管理Colab虚拟机的生命周期,不妨了解一下ColabGCPMarketplace虚拟机,后者为您提供可根据需要进行管理的永久环境。
Colab提供多大内存?Colab虚拟机提供的内存大小会不时变化(但在虚拟机的生命周期内是稳定不变的)。
(不时调整内存有利于我们持续免费提供Colab。
)如果Colab检测到您可能需要额外的内存,系统有时会自动为您分配包含额外内存的虚拟机。
如果用户希望在Colab中获得更多、更稳定的内存,可以订阅ColabPro和Pro+或使用ColabGCPMarketplace虚拟机。
如何才能充分利用Colab?Colab中的资源会优先提供给最近资源用量较少的用户,以防少数用户独占有限的资源。
为充分利用Colab,请在完成工作后关闭Colab标签页,并在没有实际需求时避免选用GPU。
这样,您在Colab中遇到用量限额的情况就会减少。
如果用户想获得比免费版Colab资源上限更高的配额,可以订阅ColabPro和Pro+。
系统显示一条消息,提示我没有使用GPU。
我该怎么办?Colab提供可选的加速计算环境,包括GPU和TPU。
在GPU或TPU运行时中执行代码不一定代表将使用GPU或TPU。
为了避免达到GPU使用量上限,我们建议如果没有使用GPU,请切换为标准运行时。
切换方法是:依次选择运行时>更改运行时类型,然后将“硬件加速器”设为“无”。
要查看如何在Colab中利用GPU和TPU运行时的示例,请参阅支持GPU的TensorFlow和Colab中的TPU示例笔记本。
其他问题
Colab支持哪些浏览器?Colab支持大多数主流浏览器,并且在Chrome、Firefox和Safari的最新版本上进行了最全面的测试。
Colab与colaboratory.jupyter.org有什么关系?2014年,我们与Jupyter开发团队合作发布了该工具的早期版本。
自此以后,在内部使用反馈的指引下,Colab得以不断改进。
是否支持其他编程语言?Colab主要支持Python及其第三方工具生态系统。
据悉,用户希望Colab支持其他Jupyter内核(例如R或Scala)。
我们打算支持这些Jupyter内核,但还无法提供预计实现时间。
如果我发现错误或遇到问题,我该联系谁?您可以打开任意一个Colab笔记本,然后转到“帮助”菜单并选择“发送反馈…”。
为什么提示我启用第三方Cookie?为了安全地显示各种输出项,Colab会使用HTMLiframe和托管在多个单独来源的ServiceWorker。
只有第三方Cookie处于启用状态时,浏览器才能在iframe中使用ServiceWorker。
要启用所有网站的第三方Cookie还有另一个方法,就是在浏览器设置中允许以下主机名:googleusercontent.com。
如何更改编辑器的字体?Colab对编辑器会使用一般的等宽字体。
在大多数现代浏览器中,您都可以配置对哪些字体系列使用等宽设置。
下面是一些常见字体系列:在Firefox中,请按照Firefox支持文档中的说明配置“等宽”字体。
在Chrome中,请转到“chrome://settings/fonts”并修改“宽度固定的字体”部分。
Colab支持Python2吗?Colab已不再支持Python2。
要了解将代码从Python2迁移到Python3的相关信息,请参阅将Python2代码迁移到Python3一文。
在哪里可以进一步了解ColabPro和Pro+?请参阅注册页面上的ColabPro和Pro+常见问题解答部分。
ColabPro和ColabPro+是怎么计费的?请访问ColabPro和ColabPro+注册页面,了解ColabPro和ColabPro+相关信息,包括定价和升级处理方式方面的信息。
如何使用Workspace帐号访问Colab?Workspace用户对Colab的访问权限由贵组织的管理员通过Workspace开/关控件控制。
Workspace教育版组织必须征得家长同意,才能让未满18周岁的学生通过其GoogleWorkspace教育版帐号使用其他服务。
有关详情,请阅读我们的帮助中心文章与家长和监护人就GoogleWorkspace教育版的使用进行沟通。
请注意,未满13周岁的孩子的Google帐号不受支持。
Google
Google大全
隐私权
条款更改语言:българскиবাংলাčeštinadanskDeutschΕλληνικάEnglishEnglish(UnitedKingdom)españolespañol(Latinoamérica)eestisuomifrançaisGaeilgeहिन्दीmagyarIndonesiaitaliano日本語한국어lietuviųlatviešuNederlandspolskiportuguês(Brasil)português(Portugal)românăрусскийslovenčinaslovenščinasvenskaไทยTürkçeукраїнськаTiếngViệt中文(中国)中文(台灣)
延伸文章資訊
- 1google colab的一些使用限制- Bob blog
google colab的一些使用限制 ... 目前有需求是训练自定义的数据集,用了yolov4 darknet,但是公司发的老版mac训练起来实在是慢且发烫,于是打算试一试google ...
- 2超出使用限制后,如何在Google Colab 上再次使用GPU?
我使用免费版的Google Colab 来运行我的Tensorflow 代码。12 小时后,它给出错误消息“由于Colab 中的使用限制,您当前无法连接到GPU”。
- 3Google Colab免费GPU 超详细使用教程 - CSDN博客
因此,使用Colab 长时间运行计算的用户,或最近资源用量较大的用户,更有可能遇到使用量限制,并导致他们暂时无法使用GPU。计算需求较高的用户可以在使用 ...
- 4使用Google Colab訓練YOLO - CH.Tseng
- 5如何無痛使用Google Colab以及Google Drive?
本文將介紹最適合初學者使用的雲端開發環境google colab以及如何連結使用google drive裡的檔案、並且教你如何快速安裝各種常用套件如(PyTorch)。