او در سال 412 در 27 سالگی، به عنوان دبیر رسایل و نامه‌نگاری سلطان محمود غزنوی وارد خدمت درباری شد و از محضر ابونصر مشکان، بهره فراوان برد. در سال 421 با مرگ سلطان محمود غزنوی، پسرش سلطان مسعود به حکومت رسید و بیهقی در مقام خود در دربار غزنویان ماند و در مجموع، مدت 19 سال منشی دیوان رسایل آنها بود تا این که استادش ابونصر مشکان در سال 431 درگذشت و او به مقام ریاست دیوان رسایل دولتی سلطان مسعود، نایل و جانشین استادش شد.

وی در بیشتر سفرها، همراه سلطان محمود و سلطان مسعود بود. در اواخر سلطنت سلطان مسعود که ابوسهل زوزنی ریاست دیوان رسایل را به عهده داشت، بیهقی مدتی زیر دست او بود. او با بیهقی سر ناسازگاری گرفت و خصومت­‌ها و دشمنی‌ ها کرد، اما بیهقی از طرف سلطان مسعود حمایت می‌شد. پس از مرگ سلطان مسعود، عزالدوله عبدالرشید در سال 440 به حکومت رسید و طوفان حوادث بالا گرفت و بیهقی در سال 444 به زندان افتاد. طغرل که غلام فراری عزالدوله عبدالرشید بود، سرزمین غزنین را گرفت و عبدالرشید را کشت و بیهقی را از زندان آزاد کرد. اما او دیگر وارد کار دیوانی و درباری نشد و از آن زمان تا آخر عمر به انزوا و تصنیف و تکمیل تاریخ خود روی آورد.

بیهقی تا اوایل ایام سلطنت سلطان ابراهیم، زنده بود تا این که در ماه صفر سال 470 درگذشت.

از جمله آثار ابوالفضل بیهقی، کتابی به نام «زینت الکتاب» در آداب انشا و کتابت و نویسندگی است. اثر دیگر او، «مقامات ابونصر مشکان» نام دارد و رساله‌ای بوده که بیهقی آن چه از زبان استاد خویش در ایام عمرش شنیده، در این کتاب جمع آوری کرده است. ولی این اثر، از بین رفته و آنچه باقی‌مانده، مطالبی است که از آن، در کتاب «تاریخ بیهقی» یاد شده است.

مشهورترین اثر بیهقی، تاریخ ناصری یا تاریخ مسعودی، معروف به «تاریخ بیهقی» است که از علل تحریر این تاریخ، شغل دیوانی و منصب رسایل حکومتی بیهقی و رابطه نزدیک او با استادش ابونصر مشکان بوده است و او از همین طریق، همواره در جریان کارهای مملکت و اوضاع روزگار سلطان محمود غزنوی و پسرش مسعود قرار می‌گرفته و از نزدیک تماشاگر حوادث این دوره بوده و توانسته رویدادها را با قلم سحرآفرین و تحسین برانگیز خود، به طرزی زیبا و رسا به رشته تحریر در آورد.

تاریخ بیهقی، از جمله بهترین و با ارزش‌ترین آثار ادبی زبان فارسی است که امروزه پس از هزار سال، هنوز توانایی آن را دارد که دستمایه ادیبان و نویسندگان معاصر قرار گیرد و آنان با الگوپذیری از این شاهکار ادبی و جست و جو در راز ماندگاری آن، دست به آفرینش و خلق آثار ماندگار در قلمرو وسیع ادب فارسی بزنند.

به حکم این کتاب، بیهقی بی‌گمان در زبان فارسی، استاد بلاغت است و سبک سخن و شیوه نویسندگی او در کمتر کتاب فارسی آن زمان یافت می‌شود.

نوشته اول آبان به نام «روز بزرگداشت ابوالفضل بیهقی» اولین بار در گویای خبر. پدیدار شد.