そしてモントリオール五輪男子マラソンの選考会となった1976年4月のびわ湖マラソンで落選。服部さんは潔く引退した。
「もう脱力だったね。終わったなっていう思いはあまりなかったけど、次はいよいよ、自分の仕事をやらなきゃなという気持ちでした。親を裏切るわけにはいかない。後ろ髪を引かれるような思いはありましたが、スパンとやめました。大学にちょろちょろ顔を出しながら、6月下旬か7月に牧場に入ったんです」
モントリオール五輪は悔しさもあり、一切テレビ中継は観なかったという。陸上選手から畜産農家へ。失意のなかで服部さんはセカンドキャリアを踏み出した。
「陸上の名選手で次期社長だとしても、牧場の仕事は素人です。従業員の先輩が3～4人いましたが、仕事は自分で覚えて、やっていかないといけない。苦労の連続ですよ。引退後2～3年はもやもやした気持ちもありましたし、大学の勉強なんか役立たない（笑）。でも、大学卒業してすぐに結婚したので、妻がいたから心の支えがあって頑張れました。毎日、真っ黒になって働いて、本当に3～4年は大変でしたね。その後は、従業員の世代交代も進んで、徐々に自分のカラーでやれるようになったんです」
服部さんが23歳で家業を継いだからこそ、服部牧場は大きく進化したといえるだろう。競技を長く続けることを美徳に感じる人は少なくないが、セカンドキャリアを考えると、引き際も大切だ。
「最近は30歳くらいまでやる選手が多いけど、その職場にいたら出遅れるよね。うちの牧場も22歳で入ったら、8年働けばもう一人前。そこに新人として30歳が入ってこられたら困っちゃうもん。誰もが年を重ねていくし、下から若いのがどんどん上がってくるから、常に先のことを考えないといけない」
ライバルだった宗兄弟（茂、猛）との闘いは
同学年のライバルだった宗兄弟（茂、猛）と喜多秀喜は、服部さんが引退後も競技を続けて、オリンピック代表になった。同世代でナンバー1だった服部さんも「自分も」という気持ちがあったのかと思いきや、大学時代に宗兄弟との差を感じていたという。
「宗兄弟と喜多は伸びたし、世界へ羽ばたいていった感じはあったよね。自分は良いタイミングで引退したなと思ったよ。現役選手だったら、あいつらと名勝負をやらなきゃいけないわけじゃない。4歳下の瀬古利彦も絡んでくるし、嫌だったね。以前、宗兄弟に言われたんだよ。当時の日本陸連合宿で、『オレは服部に勝てると思った』と。彼ら実業団選手は大学生の甘い競技生活とは違う。それをニュージランドにいた40日間で彼らに見られちゃった。宗兄弟は生活が陸上。自分は生活は生活で、陸上は陸上。大きく違う。彼らは練習が好きなんだよ。昼寝して起きると宗兄弟はいなかった。すごく大きく見えたもんね」