翰林院始设于唐朝，唐朝前期，皇帝安排一些文学才俊在宫城北门口候命，随时出谋划策、草拟诏书，称为北门学士、翰林待诏、翰林供奉等，后来专门成立了翰林院安置这些文学才俊。这个机构从成立伊始，就不承担具体的行政管理工作，是务虚的，后代加以继承。
清朝的皇帝对翰林院是有很清楚的认识的，说翰林院这个机构无裨行政，但必须存在。因为这个部门"培养干部"，古文说是"储才之所"。比如，皇帝觉得一个新科进士学问不错、人品上佳，想要栽培他，那把他放在哪呢?如果让他到地方上当个知县，琐碎的工作会消耗大量的精力时间，不利于他的成长。那就把他留在身边，放到翰林院里一边精研学问，一边观察政治。这样有助于他尽快熟悉政治运作，增加阅历，三五年后再看是否可造之才。还有另外一方面的考虑，天下官职是有限的，每一次新科进士两三百人，难以尽数安排。于是就挑选其中的优秀者进入翰林院，缓解官员分配安置的压力。基于这两点考虑，翰林院一直存在到清末，而且官员人数还不少。储才之所，把人才储备在那儿备用。
翰林院的特点，决定了翰林官员接近皇帝、工作轻松、升迁较快、地位清要，让其他人羡慕得不得了。唐宋开始，宰辅重臣多出自翰林，皇帝也往往从翰林中选拔钦差，处理要事。翰林学士虽然品级不高，但备受追捧。比如大名鼎鼎的苏东坡，曾经当过翰林，之后无论官职怎么变，始终以"翰林学士"的名号行走江湖。明朝明确规定，非进士不能入翰林，非翰林不得入内阁，翰林就成了位极人臣的一个必要台阶。想冲击宰辅高位，得先考中进士，再入翰林，才有资格入内阁。因此，人们又尊称翰林们为"储相"。
那么，翰林学士只是看书做学问，不做其他事情吗？当然不是，除了看书，翰林还要编书、写书。皇帝成立很多编书处或者是修书的班子，抽调翰林编辑出版文史图书、经略汇编，比如《四库全书》主要就是翰林在编。同时，翰林学士随时准备入值随扈，充当皇帝的侍从。乾隆皇帝一辈子写了四万多首诗，估计其中大部分都是翰林学士捉刀代笔的。每逢科举考试，翰林学士还要充当考官和阅卷官。翰林院的生活是非常清苦的，如果自己不搞点额外收入，就只能靠那一点点俸禄了。穷书生盼三年一次的科举，穷翰林也盼三年一次的科举。一考试，翰林们就有机会出任考官，称为"放差"。原先，只要是科举出身的京官都有可能出任考官，或放地方学政，清朝中期后，考官和学政的差使几乎被翰林垄断了。放差也分上中下三等，最上等的是学差，也就是去地方担任学政，至少一届能落上万两银子；中等差事是地方乡试主考官，能落几千两银子。这两个差事还有机会收纳门生，有稳定的门生孝敬收入，但竞争激烈，不是想当就能当上的。乡试那年，差事从五月"放"到七月，先公布最远的云贵主考官，最后公布最近的山东乡试主考。有人每次都是"自从云贵盼山东，盼到山东又落空"。最次等的放差是顺天乡试会试的房考（监考官），每次仅落两三百两银子。
此外，翰林院还得承办经筵日讲，就是给皇帝上课。从顺治开始，翰林院都要选四名官员充当日讲官，每天都给皇帝讲解经书，同时在春秋两季举行经筵大讲，就是公开大课堂，目的是提高皇帝的学问和素养。翰林学士最想做的就是给皇帝授课，担任经筵日讲官。且不说给皇帝授课，有"帝师"的名头可以炫耀，更重要的是，此举能够招皇帝待见。皇帝觉得这个人讲得不错，不用在翰林院待着了，直接安排要职，那这个人不就要扶摇直上了吗？
翰林院的长官叫作掌院大学士，满汉各一人，下面还有侍读学士、侍讲学士、侍读、侍讲，接下来是修撰、编修、检讨等官。翰林院的官员变动大，因为它是储才之所，官员不会常待，快的三五年即升迁调转。翰林院下设机构有∶国史馆，负责编辑出版本朝历史。圣旨说，将某人、某事"付诸史馆"就是要将他日后载入国史的意思。。国史馆就是为修史提供权威资料的，起居注馆，起居注就是记载皇帝的日常起居言行，其实就是给皇帝修年谱，皇帝什么时候起床、当天说了什么话、去了什么地方、干了什么，由起居注馆负责记录。
还有就是庶常馆，庶常馆就是新科进士深造的场所。每次殿试后，挑选优秀的新科进士，进入庶常馆深造。这些新科进士就是"庶吉士"，也称"庶常"。翰林院委派翰林学士给庶吉士授课，优中选优，正式担任翰林，淘汰的庶吉士就分流其他岗位。庶吉士一般在庶常馆学习三年，期满以后进行大考，叫作散馆。散馆考得比较好就直接成为翰林，不好的分到部院或州县。庶吉士并不是官，只是一个过渡，按照七品官发放俸禄。鲁迅的爷爷就当过庶吉士，散馆考得不好，发往江西出任知县，又因为脾气不好，跟上司拍着桌子对骂，被上司参了一本，革职罢官。可见，新科进士并不是进了翰林院就能入阁当大学士的，也有像鲁迅的爷爷那样，在中途被淘汰掉。
但总体而言，古代朝野视翰林院和都察院的官职为"清要之职"。清要什么意思?有的政务比较纠结，又复杂又累，而且干这些事情的人长期得不到升迁，在中下级别沉沦；有的比较简单、轻松，还容易得到升迁，不断往上走。这就好像是一杯水，浑浊的东西沉到下面，清澈的东西浮到上面。都察院和翰林院的官员，干的就是简单的政务，而且还能不断往上走。以新科进士为例，如果一开始就分配到地方担任知县，辛辛苦苦二三十年，很可能还是知县；如果一开始入选翰林院，五六年说不定就是知府，八九年成道台，二三十年后出将入相都有可能。
,
